大数据项目实战---电商埋点日志分析（第一部分，往hdfs中写入埋点日志的数据）

https://www.bilibili.com/video/BV1L4411K7hW?p=31&spm_id_from=pageDriver

架构：

Zookeeper                     66,88,99
HDFS NameNode         66,88
MR RM                         66,88
HDFS DataNode          66,88,99
MR NodeManager        66,88,99
生产Flume                    66,88
Kafka                            66,88,99
消费Flume                    66,88
Hive                              88
Hive 的MetaDB Mysql            66

数据流

生产Flume读取日志文件做简单ETL后写入到kafka，然后消费Flume从kafka中将数据读出写入到hdfs。项目中还应用了zookeeper来协调分布式kafka和分布式Hadoop。

步骤

1）制作埋点日志dummy文件

1.1）编写Java程序生成埋点日志文件，并Maven打包（期望完成时间2021-7-2，实际完成时间2021-7-3）

1.2）将打好的jar包传到66服务器和88服务器。

2）搭建Hadoop环境

安装Hadoop，并进行验证和调优。https://blog.csdn.net/hailunw/article/details/117910952

<Hadoop_Home>/etc/hadoop/hdfs-site.xml
<Hadoop_Home>/etc/hadoop/core-site.xml
<Hadoop_Home&g