通过参与一个历时两年的大数据分析项目,总结如下:
1、环境熟悉,了解认证体系,各个组件了解,比如hdfs、hive、mapreduce、spark、es、kafka等,各自适用什么场景,如何交互
2、明确场景以后,再深入了解
hdfs存储有哪些格式,各自优劣
hive各个存储方式执行性能测试,索引、分桶、分区等的运用
mapreduce的优势是什么,什么情况下使用
spark调优,使用机制,如何使用spark进行es更新,如果前端是一个实时分析应用,如何能够让用户有一个实时体验
es怎么用,keyvalue和text有什么区别,大批量数据怎么更新
最好的学习就是放到场景里
3、需要有java语言基础
上述是一些较底层的内容,推荐一个工具 数合建模 ( http://www.hbshuhe.com/),是一个开源、免费、低代码数据建模及可视化工具,可以辅助进行大数据分析,有需求的可以试试。