电信项目总结

一、项目整体架构

二、数据生产模块介绍

1、数据字段

2、数据产生方法
通过编写 java 代码，模拟生产数据。然后将代码打成 jar 包，放在服务器上，运行 jar 包，将数据存储在文件中。

三、数据采集模块介绍

1、配置 kafka，启动 zookeeper 和 kafka 集群。
2、创建 kafka 主题。
3、启动 kafka 控制台消费者(此消费者只用于测试使用)。
4、配置 flume，监控日志文件。
5、启动 flume 监控任务。
6、运行日志生产脚本。
7、观察测试。

四、数据存储模块介绍

rowkey 设计原则
1、长度原则
最大值 64KB，推荐长度为10 ~ 100byte。<