【大数据开发必看】项目一 电信客服

电信客服

• 需求: 统计每天、每月以及每年的每个人的通话次数及时长
• 项目架构：
  1. 生产数据（ProduceLog）
     1. 随机生成电话号（主被叫）
     2. 随机生成通话建立时间
     3. 随机生成通话时长（30min内）
     4. 生成日志写入文件，2条/s
  2. flume（exec-kafka）
     1. Source:exec，监听生成数据
     2. Channel:MemoryChannel
     3. Sink:KafkaSink
  3. kafka（消息队列）
     1. 控制台消费者测试
     2. IDEA消费者直接打印数据
  4. HBase（消费数据存储）
     1. HBaseUtil（建表，预分区等）
     2. HBaseDAO（保存数据的规则）
     3. 消费数据到HBase存储
     4. 查询数据方式
     5. 协处理器
  5. MapReduce（分析业务指标）
     1. 从HBase读取数据
     2. Mapper分析6个维度指标
     3. Reducer聚合6个维度指标
     4. 自定义OutPut将数据写入MySQL
  6. Web（前端展示）
• 环境准备
  • hadoop2.7.2
  • zookeeper3.4.10
  • hbase1.3.1
  • flume1.7.0
  • kafka2.11-0.11.0.0
• 数据结构：
  • call1：第一个手机号码
  • call1_name：第一个手机号码的姓名
  • call2：第二个手机号码
  • call2_name：第二个手机号码的姓名
  • date_time：建立通话的时间
  • date_time_ts：建立通话的时间（时间戳）
  • duration：通话持续时间