1.项目需求
对通话运营商的通话记录数据进行离线的分析处理,通话记录信息包含通话的手机号码,通话时间,通话时长,是否为主叫等信息
2.项目架构
这里对整个项目架构进行简单的说明
首先通话数据是自己写代码生产出来的,然后使用Flume,实时采集数据,将采集到的数据写入Kafka,将Kafaka中的数据消费到HBase,最后写MapReduce程序对HBase中的数据进行离线分析,将最终结果写入写入到Mysql数据库中,再展示到Web界面中
3.开发环境及工具
开发工具:IDEA旗舰版
JDK:1.8+
maven:3.3.9
linux:ubuntu
集群环境:
三台虚拟机
Hadoop Flume Kafka HBase Zookeeper