自学大数据（二）

学习方向

大数据解决了什么问题？

大数据需要解决得几个问题是

• 采集
• 存储
• 计算
• 展示

数据采集

说到数据采集就需要说到数据来源。数据无非来源于各种数据库，以及文件。那么就需要有提供一种这样得工具能从各个地方获取数据输入，并输出到HDFS中。
相信大家都接触过elk。也一定知道logstash。所以这里我推荐大家学习两个采集方案

• 方案一、filebeat+kafka+logstash。
• 方案二、flume+kafka

数据存储

Hadoop体系下：文件系统HDFS，依托于HDFS之上的有Hive、Hbase存储系统
Google体系下：文件系统GFS，依托于GFS之上的有bigTable存储系统

数据计算

数据的计算无可厚非就是分布式计算Map/Reduce。基于MapReduce上的计算引擎有Storm、Spark、Flink.

数据展示

展示自不必说了，大家想怎么展示就怎么展示了。当然如果你也可以使用一些第三方高大上的工具比如阿里的dataV、granfana，或者自己写的web。

总结

以上就是大数据体系下的核心技术，如果想学习大数据，就按以上技术体系深入了解就行了。