Spark迭代计算之通话记录分析

本项目是大学生的结课作业,利用Spark进行通话记录分析,涵盖呼出电话日期、电话号码、通话时长和通话类型的展示,以及各种通话信息的查询和统计。通过Flume导入数据到HDFS,再由Spark进行MapReduce清洗和统计分析,实现对MySQL中call_records和number_field表的处理。项目代码展示了如何使用Spark读取、过滤和处理数据,完成特定查询任务。
摘要由CSDN通过智能技术生成

 

 

 


 

 

 

数据挖掘实验报告

 

  Spark迭代计算之通话记录分析  

 

 

 

 

 

 

 

 

 

二〇一八年十二月

 

 

 

通话记录分析

一、项目背景

本项目课题是来自于大学生的项目结课作业,所以我所了解的相关的基于数据挖掘的客户通话数据分析项目正是为了解决从不同的角度对移动企业的收益情况进行分析,用不同方法进行呼叫特征分析和品牌业务的预测,建立数据挖掘的客户通话数据分析系统,着重针对相关的通话记录表、号码信息表等数据资源,利用数据挖掘技术对客户通话信息进行分析,从而对高层次决策人员提供辅助决策支持。在现今激烈的电子信息行业竞争环境下,有效利用数据分析手段,解决商务运营问题有着非常重要的意义。

二、项目介绍

(一)项目需求

1、显示呼出电话的所有日期、电话号码、通话时长、及通话类型

2、输出每一日期的所有通话的次数

3、按时间递增顺序排列出每一电话号码的通话记录

4、查询电话号码18211360627的所有信息

5、查询所有电话的电话号码、通话时长、类型

6、查询2017-01-03的所有通话信息

7、以(日期,(电话号码,类型))嵌套键值对的形式显示通话记录

8、查询每一天的通话记录的总次数并依据日期的前后进行排序

9、查询每一电话号码的通话记录的次数并且分组排序

10、按每一电话号码的通话记录时间递增顺序排列出它的通话记录。

(二)项目实现(项目架构)

1、通过Flume工具将call_records表和number

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值