尚硅谷直播课:(韩顺平)2020大数据学习路线图、大数据开发课程笔记
尚硅谷直播课:2020大数据学习路线图,大数据开发大数据以集群方式运行,多个服务器构成一个集群,分为主服务器和从服务器Flume做数据采集Zookeeper做数据管理和配置Kafka做数据传输,同时对数据清洗,去杂质Hadoop做数据存储Spark做数据分析计算拿到数据以后,一个是入库,另一个是通过消息队列把数据用前端技术展现,这是整体的运行结构部署数据生命周期:1数据源:有javaEE工程师提供2数据采集:Flume,Kafka,Sqoop3数据存储:HBase HDFS Orac
原创
2020-07-24 20:09:31 ·
6232 阅读 ·
10 评论