2018年07月_首席数据师

转载 hadoop是学大数据必备项目，但你真的了解吗？

大数据作为一个新兴且高端的词，受到来自己各个领域的追捧，除了各大企业对大数据侧目之外，一大批转行者和待业者也纷纷将目光聚焦在了大数据开发。对于这些想要进入大数据开发领域的人而言，在学习的过程中对于hadoop的学习就不可或缺，因此，关于hadoop的的基础知识你就更应该清楚。对于hadoop，我们可以首先了解一下其核心，这个核心大体包括两个方面。其一是hdfs，它是一个高度容错性的系统...

2018-07-31 15:20:38 702

在更传统的IT项目中，当一个成功的系统经过测试，部署和日常运营时，其开发人员通常可以坐下来随着用户的加入而享受当之无愧的休息，并将持续维护留给一小群bug-固定器和次要增强的提供者。至少在下一个主要发布周期开始之前。当今数据仓库的开发人员没有这样的奢侈品。数据仓库成功的衡量标准仅部分由活跃用户的数量和满意度来定义。创造性决策支持的本质是用户不断发现新的业务需求，改变他们对所需数据的看法，从而每...

2018-07-31 14:46:50 1014

原创大数据架构师必读：常见的七种Hadoop和Spark项目案例

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是...

2018-07-28 09:32:23 281

原创 Hadoop教程

目前在市场上的各种技术，从不同的供应商，包括亚马逊，IBM，微软等来处理大数据。尽管找到了处理大数据的技术，我们研究了以下两类技术：操作大数据这些包括像MongoDB系统，提供业务实时的能力，这里主要是数据捕获和存储互动工作。NoSQL大数据系统的设计充分利用已经出现在过去的十年，而让大量的计算，以廉价，高效地运行新的云计算架构的优势。这使得运营大数据工作负载更容易管理，更便宜，更快的...

2018-07-27 14:23:18 228

原创学习Python for Data Science：在数据科学中使用Python库

Python for Data Science是数据分析领域专业人士必须学习的东西。随着IT行业的发展，对熟练数据科学家的需求急剧增加，Python已经发展成为最受欢迎的编程语言。通过这篇博客，您将学习基础知识，如何分析数据，然后使用Python创建一些漂亮的可视化。这篇关于“Python for Data Science”的文章包括以下主题：为什么要学习Python for Data S...

2018-07-26 14:48:32 1148

原创如何设计一个 RPC 系统

RPC是一种方便的网络通信编程模型，由于和编程语言的高度结合，大大减少了处理网络数据的复杂度，让代码可读性也有可观的提高。但是RPC本身的构成却比较复杂，由于受到编程语言、网络模型、使用习惯的约束，有大量的妥协和取舍之处。本文就是通过分析几种流行的RPC实现案例，提供大家在设计RPC系统时的参考。由于RPC底层的网络开发一般和具体使用环境有关，而编程实现手段也非常多样化，但不影响使用者，因此本...

2018-07-25 11:19:08 148

原创如何利用Python 为自然语言处理加速度

自去年发布 Python 的指代消解包(coreference resolution package)之后，很多用户开始用它来构建许多应用程序，而这些应用与我们最初的对话应用完全不同。利用 spaCy 和一点点 Cython 给 NLP 加速。自去年发布 Python 的指代消解包(coreference resolution package)之后，很多用户开始用它来构建许多应用程序，而这...

2018-07-24 09:37:04 533

原创 HBase从入门到精通系列：误删数据如何抢救？

有时候我们操作数据库的时候不小心误删数据，这时候如何找回?mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢?有时候我们操作数据库的时候不小心误删数据，这时候如何找回?mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢?...

2018-07-23 10:53:10 177

原创何大安：大数据思维改变人类认知的经济学分析

一经济学因果思维模式及其局限性在人类改造自然和变革制度的历史长河中，认知水平在相当长的时期内是受制于数据积累的。在农业时代，人们主要是靠文字记载和简单数学工具等进行数据积累，数据与信息之间的联系是间接的；或者说，人们认知事物是通过经验观察，是以因果关系作为判断依据和准则的，这种思维模式贯穿于几千年的农业文明中。到了工业化时代，人们积累数据的方法和手段发生了质的变化，事物因果关系的揭示被逐级科...

2018-07-23 09:24:15 613

等风等雨等你