大数据电信客服-数据生产（一）

最新推荐文章于 2024-04-28 17:50:52 发布
最新推荐文章于 2024-04-28 17:50:52 发布
阅读量1.7k 收藏 8
点赞数 2
分类专栏： 大数据电信客服项目 文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55834564/article/details/127457642
版权

目录

一、项目背景

二、项目架构

三、项目实现

1.数据生产

2.数据结构

3.编写代码

在ct.common.bean下

在ct.common.constant类

在ct.producer下

在ct.common.util下

在ct.producer.bean下

在ct.producer.io

四、测试结果

一、项目背景

通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度话单，通话详情，通话记录等等+。我们以此为背景，寻找一个切入点，学习其中的方法论。当前我们的需求是：统计每天、每月以及每年的每个人的通话次数及时长。

二、项目架构

 

三、项目实现

1.数据生产

此情此景，对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的鲁棒性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。

2.数据结构

我们将在HBase中存储两个电话号码，以及通话建立的时间和通话持续时间，最后再加上一个flag作为判断第一个电话号码是否为主叫。姓名字段的存储我们可以放置于另外一张表做关联查询，当然也可以插入到当前表中。

列名

解释

举例

call1

第一个手机号码

15369468720

call1_name

第一个手机号码人姓名(非必须)

李雁

call2

第二个手机号码

19920860202

call2_name

第二个手机号码人姓名(非必须)

卫艺

date_time

建立通话的时间

20171017081520

date_time_ts

建立通话的时间（时间戳形式）

duration

通话持续时间（秒）

0600

3.编写代码

思路：

a) 创建Java集合类存放模拟的电话号码和联系人；

b) 随机选取两个手机号码当作“主叫”与“被叫”（注意判断两个手机号不能重复），产出call1与call2字段数据；

c) 创建随机生成通话建立时间的方法，可指定随机范围，最后生成通话建立时间，产出date_time字段数据；

d) 随机一个通话时长，单位：秒，产出duration字段数据；

e)、将产出的一条数据拼接封装到一个字符串中；

f)、使用IO操作将产出的一条通话数据写入到本地文件中;

 新建module项目：

pom.xml文件配置：

project-ct

<modules>
        <module>ct-common</module>
        <module>ct-producer</module>
        <module>ct-consumer</module>
    </modules>
ct-producer

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>lenovo-project-ct</artifactId>
        <groupId>org.example</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>ct-producer</artifactId>



    <dependencies>
        <dependency>
            <groupId>org.example</groupId>
            <artifactId>ct-common</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
    </dependencies>

</project>

在ct.common.bean下

创建Val

package ct.common.bean;
/**
* 值对象接口
* */
public interface Val {
    public void setValue(Object val);
    public Object getValue();
}

创建Producer

package .ct.common.bean;

import java.io.Closeable;

/**
 * @program: IntelliJ IDEA
 * @description: 生产者接口
 * 
 * @create: 2022-10-18 14:52
 */

public interface Producer extends Closeable {
    public void setIn(DataIn in);
    public void setOut(DataOut out);
    /**
    * 生产数据
    * */
    public void produce();
}

创建DataIn

package ct.common.bean;

import java.io.Closeable;
import java.io.IOException;
import java.util.List;


/**
 * @program: IntelliJ IDEA
 * @description: ming
 * 
 * @create: 2022-10-18 14:54
 */
public interface DataIn extends Closeable {
    public void setPath(String path);

    public Object read() throws IOException;
    public <T extends Data> List<T> read(Class<T> clazz) throws IOException;
}

创建DataOut

package ct.common.bean;

import java.io.Closeable;

/**
 * @program: IntelliJ IDEA
 * @description: ming
 * 
 * @create: 2022-10-18 14:54
 */
public interface DataOut extends Closeable {
    public void setPath(String path);

    public void write(Object data) throws Exception;
    public void write(String data) throws Exception;
}

创建Data

package ct.common.bean;

/**
 * @program: IntelliJ IDEA
 * @description: 数据对象
 * 
 * @create: 2022-10-18 14:57
 */
public abstract class Data implements Val{

    public String content;



    public void setValue(Object val) {
        content = (String)val;
    }


    public String getValue() {
        return content;
    }
}

在ct.common.constant类

创建Names

import org.apache.hadoop.yarn.webapp.hamlet.Hamlet;

/*
* 名称常量枚举类
* */
public enum Names implements Val {
    NAMESPACE("ct");

    private String name;

    private Names(String name){
        this.name = name;
    }




    @Override
    public String Value() {
        return name;
    }
}

在ct.producer下

创建Bootstrap

import java.io.IOException;

/**
 * @program: IntelliJ IDEA
 * @description: 启动对象
 * 
 * @create: 2022-10-18 15:20
 */
public class Bootstrap {
    public static void main(String[] args) throws Exception {

        if(args.length <2 ){
            System.out.println("系统参数不正确，请按照指定格式传递：java -jar Produce.jar path1 path2");
            System.out.println(1);
        }

        //构建生产者对象
        Producer producer = new LocalFileProducer();

/*        producer.setIn(new LocalFileDataIn("D:\\contact.txt"));
        producer.setOut(new LocalFileDataOut("D:\\call.log"));*/

        producer.setIn(new LocalFileDataIn(args[0]));
        producer.setOut(new LocalFileDataOut(args[1]));
        //生产数据
        producer.produce();

        //关闭生产对象
        producer.close();

    }
}

contact.txt文件数据自己创建，格式：手机号+tab符号+姓名，call.log是空文件,用于存储通话记录

 

 

在ct.common.util下

创建NumberUtil



import java.text.DecimalFormat;

/**
 * @program: IntelliJ IDEA
 * @description: 数字工具类
 * @
 * @create: 2022-10-19 11:13
 */
public class NumberUtil {
    /**
    * 将数字格式化字符串
    * */
    public static String foramt(int num, int length ){
        StringBuilder stringBuilder = new StringBuilder();
        for(int i= 1; i<= length;i++){
            stringBuilder.append("0");
        }

        DecimalFormat df = new DecimalFormat(stringBuilder.toString());
        return df.format(num);
    }

    public static void main(String[] args) {
        System.out.println(foramt(10,10));
    }

}

创建 DateUtil



import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * @program: IntelliJ IDEA
 * @description: 日期工具类
 * @
 * @create: 2022-10-19 11:27
 */
public class DateUtil {
    /**
     * 将指定的日期按照指定的格式，格式化为字符串
     * @param date
     * @param format
     * @return
     */
    public static String format (Date date,String format){
        SimpleDateFormat sdf = new SimpleDateFormat(format);
        return sdf.format(date);
    }

    /**
     * 将日期字符串按照指定的格式解析为日期对象
     * @param dateString
     * @param format
     * @return
     */
    public static Date parse(String dateString,String format){
        SimpleDateFormat sdf = new SimpleDateFormat(format);
        Date date = null;
        try {
            date = sdf.parse(dateString);
        } catch (ParseException e) {
            e.printStackTrace();
        }
        return date;
    }
}

在ct.producer.bean下

创建LocalFileProducer



import java.io.IOException;
import java.util.Date;
import java.util.List;
import java.util.Random;

/**
 * @program: IntelliJ IDEA
 * @description: 本地数据文件生产者
 * @author: 
 * @create: 2022-10-18 15:24
 */
public class LocalFileProducer implements Producer {
    private DataIn in;
    private DataOut out;
    private volatile boolean flg = true;

    public void setIn(DataIn in) {
        this.in = in;
    }
    public void setOut(DataOut out) {
        this.out = out;
    }

    /**
     * 生产数据
     */
    public void produce() {


        try {
            //读取通讯录数据
            List<Contact> contacts = in.read(Contact.class);
            for(Contact contact : contacts){
                System.out.println(contact);
            }
            while (flg){

                //从通讯录中随机查找2个电话号码（主叫，被叫）
                /**区别
                 * Math.random(）类型是boolean，没有规律
                 * Random类型是int，有规律
                 * */
                int call1Index = new Random().nextInt(contacts.size());
                int call2Index;
                while (true){
                    call2Index = new Random().nextInt(contacts.size());
                    if(call1Index != call2Index){
                        break;
                    }
                }
                Contact call1 = contacts.get(call1Index);
                Contact call2 = contacts.get(call2Index);

                //生产随机的通话时间
                String startDate = "20210101000000";
                String endDate = "20220101000000";

                long startTime = DateUtil.parse(startDate,"yyyyMMddHHmmss").getTime();
                long endTime = DateUtil.parse(endDate,"yyyyMMddHHmmss").getTime();

                //通话时间
                long calltime = startTime + (long)((endTime - startTime) * Math.random());
                //通话时间字符串
                String callTimeString = DateUtil.format(new Date(calltime),"yyyyMMddHHmmss");

                //生产随机的通话时长
                String duration = NumberUtil.foramt(new Random().nextInt(3000), 4);


                //生产随机的通话记录
                Calllog log = new Calllog(call1.getTel(),call2.getTel(),callTimeString,duration);

                System.out.println(log);
                //将通话记录刷写到数据文件中
                out.write(log);

                //500ms=0.5s
                Thread.sleep(500);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }



    }
    /*
    * 关闭生产者
    * */
    public void close() throws IOException {
        if(in != null){
            in.close();
        }
        if(out != null){
            out.close();
        }
    }
}

创建Contact



/**
 * @program: IntelliJ IDEA
 * @description: 联系人
 * 
 * @create: 2022-10-18 21:13
 */
public class Contact extends Data {
    private String tel;
    private String name;

    public String getTel() {
        return tel;
    }

    public void setTel(String tel) {
        this.tel = tel;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }
    public void setValue(Object val){
        content = (String)val;
        String[] values = content.split("\t");
        setName(values[1]);
        setTel(values[0]);
    }
    public String toString(){
        return "Contact["+tel+","+name+"]";
    }
}

创建Calllog



/**
 * @program: IntelliJ IDEA
 * @description: ming
 * 
 * @create: 2022-10-19 11:46
 */
public class Calllog {
    private String call1;
    private String call2;
    private String calltime;
    private String duration;

    @Override
    public String toString() {
        return call1+"\t"+call2+"\t"+calltime+"\t"+duration;
    }

    public Calllog(String call1, String call2, String calltime, String duration) {
        this.call1 = call1;
        this.call2 = call2;
        this.calltime = calltime;
        this.duration = duration;
    }

    public String getCall1() {
        return call1;
    }

    public void setCall1(String call1) {
        this.call1 = call1;
    }

    public String getCall2() {
        return call2;
    }

    public void setCall2(String call2) {
        this.call2 = call2;
    }

    public String getCalltime() {
        return calltime;
    }

    public void setCalltime(String calltime) {
        this.calltime = calltime;
    }

    public String getDuration() {
        return duration;
    }

    public void setDuration(String duration) {
        this.duration = duration;
    }
}

 

在ct.producer.io

创建LocalFileDataIn



import java.io.*;
import java.util.ArrayList;
import java.util.List;

/**
 * @program: IntelliJ IDEA
 * @description: 本地文件数据输入
 * 
 * @create: 2022-10-18 20:17
 */
public class LocalFileDataIn implements DataIn {
    private BufferedReader reader = null;

    public LocalFileDataIn(String path){
        setPath(path);
    }

    public void setPath(String path) {
        try {
            reader = new BufferedReader(new InputStreamReader(new FileInputStream(path),"gbk"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
    }

    public Object read() throws IOException {
        return null;
    }
    /**
    * 读取数据，返回数据集合
    * */
    public <T extends Data> List<T> read(Class<T> clazz) throws IOException {

        List<T> ts = new ArrayList<T>();
        try {
            //从数据文件中读取所有的数据
            String line = null;
            while ((line = reader.readLine()) != null){
                //将数据转换为指定类型的对象，封装为集合返回
                T t = clazz.newInstance();
                t.setValue(line);
                ts.add(t);
            }
        }catch (Exception e){
            e.printStackTrace();
        }




        return ts;
    }

    /*
    * 关闭资源*/
    public void close() throws IOException {
        if(reader != null){
            reader.close();
        }
    }
}

创建LocalFileDataOut



import java.io.*;

/**
 * @program: IntelliJ IDEA
 * @description: 本地文件数据输出
 * 
 * @create: 2022-10-18 20:18
 */
public class LocalFileDataOut implements DataOut {
    private PrintWriter writer = null;

    public LocalFileDataOut(String path){
        setPath(path);
    }

    public void setPath(String path) {
        try {
            writer = new PrintWriter(new OutputStreamWriter(new FileOutputStream(path),"utf-8"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
    }

    public void write(Object data) throws Exception {
        write(data.toString());
    }

    /***
     * 将数据字符串生成到文件中
     * @param data
     * @throws Exception
     */
    public void write(String data) throws Exception {
        writer.println(data);
        writer.flush();
    }

    /**
     * 释放资源
     * @throws IOException
     */
    public void close() throws IOException {
        if(writer != null){
            writer.close();
        }
    }
}

四、测试结果

1.控制台输出

 2.文件中查看

3. 打包jar

 

然后在项目里面查看jar包

 

 并且把jar包和contact.txt通讯录导入到cd /opt/module/data/

[root@hadoop01 data]# ll
total 320
-rw-r--r--. 1 root root   1992 Sep 22 22:31 contact.txt
-rw-r--r--. 1 root root  14870 Sep 22 22:41 ct-producer.jar

4.在Linux中进行测试

[root@hadoop01 data]# java -jar ct-producer.jar /opt/module/data/contact.txt /opt/module/data/call.log

lambda-小张
关注
专栏目录
大数据电信客服
iMark
02-20 1445
大数据电信客服项目 B站链接 项目背景 通信运营商产生大量通信数据，例如童话记录，短信等 我们的需求是统计每天每月以及每年每个人的通话次数及时长。 项目架构 CallLog 通话日志 —> Flume日志收集 —> Kafka消息处理 —>HBase数据存储 MR统计分析—>YARN调度—>Mysql存储 —>WebServer前端 生产数据ProduceLog ---------->Flume -------------------->Kafka消息
大数据实战电信客服
a18379692263的博客
03-02 544
电信客服项目
XX省移动电信业务大数据解决方案（电信大数据）.doc
09-18
XX省移动电信业务大数据解决方案（电信大数据）.doc
大数据技术之项目：电信客服.txt
04-20
大数据技术之项目：电信客服
大数据电信客服项目一——数据生成
m0_57126456的博客
10-27 750
源码，资料自取：链接：https://pan.baidu.com/s/1jWcfux9vONLio5LboLSxSQ 提取码：6666 说明：数据生成采用面向接口方法，支持个人扩展，代码有注解说明可自行观看 生成数据的格式：主叫 被叫 通话时间 通话时长 ...
大数据项目之电信客服三
while false
11-29 761
1.启动Kafaka集群 这里的Kafka集群搭建就不再说了，如果不会搭建可以看我之前的博文 首先启动Zookeeper集群，然后再启动Kafka集群 bin/zkServer.sh start bin/kafka-server-start.sh config/server.properties 2.创建Kafka主题 bin/kafka-topics.sh --zookeeper...
(完整版)大数据试题及答案-最全
06-07
数据重组不是重新生产或采集数据，而是通过整合和融合来自不同源的数据，创造新的价值，激发创新的数据模式。这有助于发掘隐藏的关联和模式。 7. 智慧城市： 智慧城市整合了数字城市、物联网和云计算等技术，但不...
大数据开发项目-电信项目1-生产数据
最新发布
2401_84182758的博客
04-28 774
phoneNameMap.put(“18549641558”, “施梅梅”);phoneNameMap.put(“17005930322”, “金虹霖”);phoneNameMap.put(“15978226424”, “华啟倩”);phoneNameMap.put(“15542823911”, “仲采绿”);phoneNameMap.put(“15422018558”, “戚丽红”);phoneNameMap.put(“17269452013”, “何翠柔”);
大数据电信客服案例教程
06-12
电信客服综合案例就是以此为切入点所开发的大数据实战案例。?在本课程中，你将学习到，项目架构搭建，数据生产，数据消费，数据分析，以及数据展示等项目核心业务功能的实现。学习过程中，我们将使用Flume，Kafka，...
大数据基础--大数据概念与应用（刘鹏《大数据》课后习题答案）.pdf
12-24
获取大数据的常见途径包括系统日志采集、互联网数据采集、APP移动端数据采集以及与数据服务机构合作。大数据处理方法包括采集、导入与预处理、统计与分析以及数据挖掘。预处理涉及数据清洗、数据集成、数据变换和...
尚硅谷 电信客服大数据项目实战视频（第一天）
08-30
综合性比较强的一个项目，5天的视频，课堂实录，视频清晰无杂音。主要是用Java语言实现的，用到的技术很多，Flume，Kafka，zookeeper，hdfs，yarn，mapreduce，mysql，数据可视化（SSM），Android手机端，echart等，含金量还是很高的！先分享第一天的。
【大数据开发必看】项目一 电信客服
qq_42397330的博客
03-23 1032
电信客服 需求: 统计每天、每月以及每年的每个人的通话次数及时长 项目架构： 生产数据（ProduceLog） 随机生成电话号（主被叫） 随机生成通话建立时间 随机生成通话时长（30min内） 生成日志写入文件，2条/s flume（exec-kafka） Source:exec，监听生成数据 Channel:MemoryChannel Sink:KafkaSink kafka（消息队列） 控制台消费者测试 IDEA消费者直接打印数据 HBase（消费数据存储） HBaseUtil（
大数据项目之电信客服二
while false
11-29 1108
1.数据生产 在实际生产中，这个环节并不会让你来做，更不会来模拟生产数据，但是这里是为了项目运行，也是为了让你连接每个环节 2.项目创建 在IDEA中先创建一个Java项目ct，然后在该项目中建立各个Module模块进行编写，这样比较清晰，比如这里的生产数据模块就可以建立一个ct_producer的Maven模块 由于生产数据模块不是重点，只是作为实际生产环境中的一部分，所以这里不做过...
实战▍一个完整的电信客服分析平台大数据项目：架构、实现、数据
36大数据
03-20 7690
作者|黑泽明军 编辑|丹顶鹤5号电信客服分析平台（附代码）编者按：很难见到这种一个完整的大数据项目，从项目背景、项目架构到项目实现都有大量的实例，包括数据存储和数据采...
大数据电信客服-数据分析（三）
m0_55834564的博客
10-24 2973
我们的数据已经完整的采集到了HBase集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个mapreduce分析多个业务指标的方式来进行任务。具体何时采用哪种方式，我们后续会详细探讨。a) 用户每天主叫通话个数统计，通话时间统计。b) 用户每月通话记录统计，通话时间统计。c) 用户之间亲密关系统计。（通话次数与通话时间体现用户亲密关系）
大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)
黑泽君
03-18 3487
大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)
大数据开发实战系列之电信客服(1)
风景旧曾谙
12-25 934
原文地址： 大数据开发实战系列之电信客服(1) 大数据实战开发系列，以实战为主，辅以一些基础知识，关于电信客服，在网上也有很多的资料，这里我自然会去参考网上的资料，程序的整体设计是在今天开始的，老夫尽量在本周末钱结束这个电信客服的程序编写。因为我也是一个学习者，所以在程序编写过程中难免会存在问题，有问题还请大家指出，有则改之，无则加勉。大家共同进步。本教程适合接触大数据开发不久或者还没接触大数...
电信客服项目之Consumer工程
张鑫的博客
08-17 381
先用kafka消费者API接受数据，然后在用hbase的api写入hbase，需要创建一个maven工程， 一、创建工程如下： 1、constant包：主要存放常用的常量比如：hbase的配置文件 public static final Configuration hBaseConfiguration = HBaseConfiguration.create(); 2、utils...
数据生产与采集
般若
10-11 2273
数据生产是指数据从无到有的过程，也就是创造新数据或者以数据材料、原始数据为基础加工成为新数据或数据产品的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lambda-小张

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值