大数据分析如何开始?

通过参与一个历时两年的大数据分析项目,总结如下:

1、环境熟悉,了解认证体系,各个组件了解,比如hdfs、hive、mapreduce、spark、es、kafka等,各自适用什么场景,如何交互

2、明确场景以后,再深入了解

hdfs存储有哪些格式,各自优劣

hive各个存储方式执行性能测试,索引、分桶、分区等的运用

mapreduce的优势是什么,什么情况下使用

spark调优,使用机制,如何使用spark进行es更新,如果前端是一个实时分析应用,如何能够让用户有一个实时体验

es怎么用,keyvalue和text有什么区别,大批量数据怎么更新

最好的学习就是放到场景里

3、需要有java语言基础

上述是一些较底层的内容,推荐一个工具  数合建模 ( http://www.hbshuhe.com/),是一个开源、免费、低代码数据建模及可视化工具,可以辅助进行大数据分析,有需求的可以试试。
 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值