大数据项目之_15_电信客服分析平台_03&04_数据分析

最新推荐文章于 2022-10-24 10:34:07 发布

黑泽君

最新推荐文章于 2022-10-24 10:34:07 发布

阅读量1.3k

点赞数 1

文章标签： MapReducer Hadoop HBase MySQL

本文链接：https://blog.csdn.net/u012990179/article/details/88702938

版权

大数据项目之_15_电信客服分析平台_03&04

- - 3.3、数据分析

3.3、数据分析

我们的数据已经完整的采集到了 HBase 集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个 mapreduce-job 的方式，如果情景允许，我们会采取一个 mapreduce 分析多个业务指标的方式来进行任务。具体何时采用哪种方式，我们后续会详细探讨。

分析模块流程图：

业务指标：
a) 用户每天主叫通话个数统计，通话时间统计。
b) 用户每月通话记录统计，通话时间统计。
c) 用户之间亲密关系统计。（通话次数与通话时间体现用户亲密关系）

3.3.1、Mysql 表结构设计

我们将分析的结果数据保存到 Mysql 中，以方便 Web 端进行查询展示。

思路讨论：

表：db_telecom.tb_call
用于存放【某个查询人维度下】和【某个时间维度下】通话次数与通话时长的总和。
表：db_telecom.tb_contacts
用于存放【查询人维度】的相关数据（用户手机号码与查询人姓名）。
表：db_telecom.tb_dimension_date
用于存放【时间维度】的相关数据（年、月、日）。
表：db_telecom.tb_intimacy

用于存放所有用户【用户关系】的结果数据。（作业中使用）

3.3.2、需求：按照不同的维度统计通话

根据需求目标，设计出如上表结构。我们需要按照查询人范围和时间范围（年月日），结合 MapReduce 统计出所属时间范围内所有手机号码的通话次数总和以及通话时长总和。

思路：
a) 维度，即某个角度，某个视角，按照时间维度来统计通话，比如我想统计 2017 年所有月份所有日子的通话记录，那这个维度我们大概可以表述为 2017 年*月*日。
b) 通过 Mapper 将数据按照不同维度聚合给 Reducer。
c) 通过 Reducer 拿到按照各个维度聚合过来的数据，进行汇总，输出。
d) 根据业务需求，将 Reducer 的输出通过 Outputformat 把数据输出到 Mysql。

数据输入：HBase
数据输出：Mysql

HBase 中数据源结构：

思路：
a) 已知目标，那么需要结合目标思考已有数据是否能够支撑目标实现；
b) 根据目标数据结构，构建 Mysql 表结构，建表；
c) 思考代码需要涉及到哪些功能模块，建立不同功能模块对应的包结构。
d) 描述数据，一定是基于某个维度（视角）的，所以构建维度类。比如按照“手机号码”与“年”的组合作为 key 聚合所有的数据，便可以统计这个手机号码，这一年的相关结果。
e) 自定义 OutputFormat 用于对接 Mysql，使数据输出。
f) 创建相关工具类。

MySQL 结果表的创建

/*
Navicat MySQL Data Transfer

Source Server         : 192.168.25.102
Source Server Version : 50173
Source Host           : 192.168.25.102:3306
Source Database       : db_telecom

Target Server Type    : MYSQL
Target Server Version : 50173
File Encoding         : 65001

Date: 2019-03-19 16:11:44
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for tb_call
-- ----------------------------
DROP TABLE IF EXISTS `tb_call`;
CREATE TABLE `tb_call` (
  `id_contact_date` varchar(255) NOT NULL,
  `id_dimension_contact` int(11) NOT NULL,
  `id_dimension_date` int(11) NOT NULL,
  `call_sum` int(11) NOT NULL,
  `call_duration_sum` int(11) NOT NULL,
  PRIMARY KEY (`id_contact_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for tb_dimension_contacts
-- ----------------------------
DROP TABLE IF EXISTS `tb_dimension_contacts`;
CREATE TABLE `tb_dimension_contacts` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `telephone` varchar(255) NOT NULL,
  `name` varchar(255) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for tb_dimension_date
-- ----------------------------
DROP TABLE IF EXISTS `tb_dimension_date`;
CREATE TABLE `tb_dimension_date` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `year` int(11) NOT NULL,
  `month` int(11) NOT NULL,
  `day` int(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- ----------------------------
-- Table structure for tb_intimacy
-- ----------------------------
DROP TABLE IF EXISTS `tb_intimacy`;
CREATE TABLE `tb_intimacy` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `intimacy_rank` int(11) NOT NULL,
  `contact_id1` int(11) NOT NULL,
  `contact_id2` int(11) NOT NULL,
  `call_count` int(11) NOT NULL,
  `call_duration_count` int(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

注意：字段名为什么加反引号？
答：因为 Mysql 中 sql 语法是不区分大小写的，而 Mysql 有一个优化机制，关键字用小写，表名和字段名用小写；关键字用大写，表名和字段名用大写；会提高 sql 执行的效率。
加反引号的意思是：不让其对字段进行大小写的优化。

使用 Navicat 创建数据库和表，如下：

3.3.3、环境准备

idea 中新建 module：ct_analysis
pom.xml 文件配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.china</groupId>
    <artifactId>ct_analysis</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.27</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-client -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.3.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-server -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.3.1</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.12.4</version>
                <configuration>
                    <!-- 设置打包时跳过test包里面的代码 -->
                    <skipTests>true</skipTests>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

创建包结构，根包：com.china，如下图所示：
类表，如下图所示：

3.3.4、编写代码：数据分析

创建类：CountDurationMapper（数据分析的Mapper类，继承自 TableMapper）

package com.china.analysis.mapper;

import com.china.analysis.kv.key.ComDimension;
import com.china.analysis.kv.key.ContactDimension;
import com.china.analysis.kv.key.DateDimension;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.Text;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

/**
 * @author chenmingjun
 * 2019-03-19 10:26
 */
public class CountDurationMapper extends TableMapper<ComDimension, Text> {
   

    private ComDimension comDimension = new ComDimension();

    private Text durationText = new Text();

    // 用于存放联系人电话与姓名的映射
    private Map<String, String> phoneNameMap = null;

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
   
        phoneNameMap = new HashMap<>();

        phoneNameMap.put("13242820024", "李雁");
        phoneNameMap.put("14036178412", "卫艺");
        phoneNameMap.put("16386074226", "仰莉");
        phoneNameMap.put("13943139492", "陶欣悦");
        phoneNameMap.put("18714767399", "施梅梅");
        phoneNameMap.put("14733819877", "金虹霖");
        phoneNameMap.put("13351126401", "魏明艳");
        phoneNameMap.put("13017498589", "华贞");
        phoneNameMap.put("16058589347", "华啟倩");
        phoneNameMap.put("18949811796", "仲采绿");
        phoneNameMap.put("13558773808", "卫丹");
        phoneNameMap.put("14343683320", "戚丽红");
        phoneNameMap.put("13870632301", "何翠柔");
        phoneNameMap.put("13465110157", "钱溶艳");
        phoneNameMap.put("15382018060", "钱琳");
        phoneNameMap.put("13231085347", "缪静欣");
        phoneNameMap.put("13938679959", "焦秋菊");
        phoneNameMap.put("13779982232", "吕访琴");
        phoneNameMap.put("18144784030", "沈丹");
        phoneNameMap.put("18637946280", "褚美丽");
    }

    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
   

        // 01_15837312345_20170810141024_13738909097_1_0180

        // 获取数据
        String roeKey = Bytes.toString(value.getRow());

        // 切割
        String[] splits = roeKey.split("_");

        // 只拿到主叫数据即可
        String flag = splits[4];
        if (flag.equals("0")) return;

        String call1 = splits[1];
        String call2 = splits[3];
        String bulidTime = splits[2];
        String duration = splits[5];

        durationText.set(duration);

        int year = Integer.valueOf(bulidTime.substring(0, 4));
        int month = Integer.<

最低0.47元/天解锁文章

黑泽君

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
大数据项目之_15_电信客服分析平台_03&04_数据分析

大数据项目之_15_电信客服分析平台_03&04_数据分析
复制链接

扫一扫

专栏目录