大数据电信客服

大数据电信客服项目
B站链接

项目背景

通信运营商产生大量通信数据，例如童话记录，短信等
我们的需求是统计每天每月以及每年每个人的通话次数及时长。

项目架构

CallLog 通话日志 —> Flume日志收集 —> Kafka消息处理 —>HBase数据存储
MR统计分析—>YARN调度—>Mysql存储 —>WebServer前端

生产数据ProduceLog ---------->Flume -------------------->Kafka消息队列
1随机生成电话主被叫 1监听生成数据 1控制台消费者测试
2随机生成通话时间 2MemoryChannel 2IDEA消费者之间打印数据
3随机生成通话时长 3KafkaSink
4生成日志写入文件2条/s

HBase消费数据存储 ------------->MapReduce分析业务指标---------->Web前端展示
1建表预分区 1从HBase读取数据 使用前端读取Mysql展示
2HBaseDAO 2Mapper分析6个维度指标
3消费数据到HBase存储 3Reduce聚合6个维度指标
4查询数据方式 4自定义OutPut将数据写入Mysql
5协处理器

项目实现

软件版本

Hadoop 2.7.2
zookeeper 3.4.10
hbase 1.3.1
flume 1.7.0
kafka 2.11-0.