尚硅谷直播课:(韩顺平)2020大数据学习路线图、大数据开发课程笔记
尚硅谷直播课:2020大数据学习路线图,大数据开发
大数据以集群方式运行,多个服务器构成一个集群,分为主服务器和从服务器
Flume做数据采集
Zookeeper做数据管理和配置
Kafka做数据传输,同时对数据清洗,去杂质
Hadoop做数据存储
Spark做数据分析计算
拿到数据以后,一个是入库,另一个是通过消息队列把数据用前端技术展现,这是整体的运行结构部署
数据生命周期:
1数据源:有javaEE工程师提供
2数据采集:Flume,Kafka,Sqoop
3数据存储:HBase HDFS Orac
原创
2020-07-24 20:09:31 ·
6374 阅读 ·
10 评论