电信客服项目
student__software
这个作者很懒,什么都没留下…
展开
-
电信客服项目之协处理器
协处理器在本项目中主要是用来,在向hbase中put一条数据时同时也要put一条call1和call2颠倒的数据 注意: 1、协处理器如果是配置到hbase-site.xml文件中,默认是对全部的表都进行处理 2、如果不配置到xml文件,只指定某个表,那么就只对改表有效 3、注意将consumer进行编译,打包,打包后上传到hbase的lib包下,记住记住,一定要分发这个jar包 4、一...原创 2018-08-17 20:59:26 · 546 阅读 · 0 评论 -
电信客服项目之总体架构
本项目需求是:统计每天、每月以及每年的每个人的通话次数及时长 架构图: 本项目是一个离线项目,流程是: 一、生产数据是实际生产环境中的一些日志文件等,其中该日志文件需要进行数据清洗,然后获取有效字段,本电信项目需要的有效字段有: 主叫手机号:call1 ,被叫手机号:call2,建立通话的时间:buildTime,通话时长:duration 二、 使用Flume收集日志,然后传输到Ka...原创 2018-08-17 18:58:43 · 1481 阅读 · 0 评论 -
电信客服项目之Consumer工程
先用kafka消费者API接受数据,然后在用hbase的api写入hbase,需要创建一个maven工程, 一、创建工程如下: 1、constant包:主要存放常用的常量比如:hbase的配置文件 public static final Configuration hBaseConfiguration = HBaseConfiguration.create(); 2、utils...原创 2018-08-17 19:15:42 · 380 阅读 · 0 评论 -
电信客服项目之分区键和rowkey设计
一、分区键设计 分区是解决数据倾斜的有效有段,分区比较简单, 关键在于需要分多少区,比如本项目分六个区形式为 00| 00| 01| 01| 02| 02| 03| ......... 05| 为什么每个分区号要加竖线呢?因为,竖线的值比较大比下线等大,而rowkey分哪个区是需要按位比较的...原创 2018-08-17 19:50:33 · 531 阅读 · 0 评论 -
电信客服项目只HbaseUtil和HbaseDao
一、HbaseUtil 在HbaseUtil中具体要做这些事,封装一下方法:创建命名空间,创建表,判断表是否存在,分区键生成,rowkey设计 重点的是分区键的设计和rowkey的生成 1、创建命名空间和判断表存不存在 比较简单 public static void createNamespace(String ns) throws IOException { ...原创 2018-08-17 19:53:53 · 536 阅读 · 0 评论 -
电信客服项目查询方式之过滤器
当数据插入到hbase中,可以进行查询,查询方式可以分为两种,一个scan,一个startRow和stopRow,两种方式最好是使用startRow,因为,这种查询块,而本篇先讲述scan遍历方式,主要是是结合Filter过滤器 一、先引入工具类HBaseFilterUtil HBaseFilterUtil是分装了各种过滤器,不过都是值过滤器,有大于小于的,有过滤器链的,也有包含and和or条...原创 2018-08-17 20:25:57 · 264 阅读 · 0 评论