大数据处理从hadoop开始经过了几年的发展,生态越来越丰富,也越来越重要。就从目前的各个招聘网站来看也是薪资最高的。但是对于想进入大数据方面的开发人员从何处学习呢?我在网络收集了一些相关的资源,希望可以帮助到大家。
大数据处理流程与应用
一、Github上的学习资源BigData-Notes
Github地址: https://github.com/heibaiying/BigData-Notes
这个github上的资源是最为丰富的。该资源中详细的介绍了大数据学习的各个方面。从大数据收集、存储、分析、实时计算、还有其他相关的辅助技术。
1、数据收集:Flume 、Logstash、Kibana
2、数据存储:Hadoop HDFS 、KFS、GFS
3、数据分析:Hadoop MapReduce、Spark、Flink、Storm
4、实时计算:Spark、Flink、Storm
大数据学习路线图
二、Flink实时计算框架flink-learning
Github地址:https://github.com/zhisheng17/flink-learning
该资源介绍了flink相关的知识点,同时也包含与各种中间件集成的例