电信项目总结

一、项目整体架构

二、数据生产模块介绍

1、数据字段

2、数据产生方法
通过编写 java 代码，模拟生产数据。然后将代码打成 jar 包，放在服务器上，运行 jar 包，将数据存储在文件中。

三、数据采集模块介绍

1、配置 kafka，启动 zookeeper 和 kafka 集群。
2、创建 kafka 主题。
3、启动 kafka 控制台消费者(此消费者只用于测试使用)。
4、配置 flume，监控日志文件。
5、启动 flume 监控任务。
6、运行日志生产脚本。
7、观察测试。

四、数据存储模块介绍

rowkey 设计原则
1、长度原则
最大值 64KB，推荐长度为10 ~ 100byte。
最好 8 的倍数，能短则短，rowkey如果太长会影响性能。
2、唯一原则 ： rowkey应该具备唯一性。
3、散列原则
(1) 盐值散列：不能使用时间戳直接作为rowkey
在rowkey前增加随机数
(2) 字符串反转 ：1312312334342， 1312312334345
电话号码࿱