大数据电话通信项目
Chenway丶
这个作者很懒,什么都没留下…
展开
-
01项目概述
项目涉及到的知识:hadoop、hbase、hive、kafka、flume、ssm、yarn。 运行环境:5台centos7.0,别名为s128—s132,16G内存 各节点配置: s128:zookeeper、flume、hbase、hive、yarn、hadoop ...原创 2018-06-18 10:19:47 · 623 阅读 · 0 评论 -
02数据生成
一切配置外部文件化。 创建gendata.conf log.file=/home/centos/calllog/calllog.log call.duration.max=600 call.duration.format=000 call.year=2017 call.time.format=yyyy/MM/dd HH:mm:ss gen.data.inte...原创 2018-06-18 10:24:49 · 216 阅读 · 0 评论 -
03flume、kafka部分
kafka需要zookeeper支撑,所以先使用命令:zkServer.sh start 启动zk集群 然后使用命令:kafka-server-start.sh -daemon /soft/kafka/config/server.properties 启动kafka集群 各节点进程如下: 创建名称为call...原创 2018-06-18 10:52:23 · 247 阅读 · 0 评论 -
05 ssm框架访问操作hbase
web端采用ssm框架进行对hbase操作。 配置文件: beans.xml: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:tx="http://www.springframework....原创 2018-06-18 14:07:59 · 1220 阅读 · 8 评论 -
06 协处理器
因为在A打给B时,生成A打给B一条记录,于此同时需要生成一条B被A拨打的记录,这时就需要用到协处理器。 创建CallLogRegionObserver: /** * 协处理器, */ public class CallLogRegionObserver extends BaseRegionObserver { //被叫引用id private...原创 2018-06-18 14:14:03 · 188 阅读 · 0 评论