大数据分析所需要的十大技术

大数据分析所需要的十大技术 【本文内容与本人所在的公司无关，完全是休闲聊天，敬请随意转发】

赵锴 KaiZhao

如果你要成为大数据分析中的佼佼者，那么你怎么也得清楚地知道下面的大数据分析的十大技术。

1: 数据仓库技术

全球数据仓库的领导者是Teradata。

Teradata收购的Aster Data( Teradata Aster) 拥有强大的SQL/MR技术。

Greenplum和Aster Data都是基于PostgreSQL的MPP并行数据仓库，不同的是Aster Data是MR是基于PostgreSQL的，而Greenplum是基于商业Hadoop版本的。

开源的MPP系统也有一些，请google自查之。

2: 数据库技术

数据库除了老牌的Oracle, SqlServer，还有开源的MySQL和PostgreSQL。Inside SQL Server这本老书可以多翻得的看看。

建议多多关注PostgreSQL，因为那是一个至今为止你还可以读的懂内核的数据库系统，代码优美，值得信赖。

3: Hadoop等衍生系统技术

这个就不多说了，从Hadoop到Spark，不知道现在有多少家公司要头痛的选择到底是选用新的Spark还是已有的Hadoop。

头痛的原因还有就是，公司好不容易培养好了Hadoop的人员，现在又要培养Spark。这个显然给商业MPP公司带来了销售上的说辞。。。

4: 数据挖掘技术

分类，聚类， 平凡项集挖掘，协同过滤，回归预测这些概念怎么也得弄懂了。

各种距离也得略知一二。

Weka,R, Mahout, Spark怎么也得会几个。

5: 自然语言处理技术

英文的不说。

中文的你得知道 分词，词性标注POS，语法树，指代消歧，关键词抽取，实体抽取，情感分析。

6: 社交网路分析技术(图分析)

图的基本理论

图上操作SSSP, PageRank等等请google之。

知道怎么找到社区和社区中的关键人物。

7: 信息检索技术

知道Ngram, 停用词，倒排索引，会用lucene。

8: 云计算技术

知道如何管理和分配主机、存储、网络、操作系统。

熟悉OpenNebula , OpenStack, CloudStack, 至少一种。

9: No-SQL技术

众多No-SQL技术。希望能至少了解一种技术。

10: 数据可视化技术

如果你看懂了Tableau是怎么做的，那么数据可视化你就是没有问题了。