大数据hadoop，spark数据分析之 基于大数据平台的运营商在线服务系统设计

今天向大家介绍一个帮助往届学生完成的毕业设计项目，大数据hadoop，spark数据分析之 基于大数据平台的运营商在线服务系统设计。

基于大数据平台的运营商在线服务系统设计
随着通信行业的业务拓展以及网络的蓬勃发展，人们对运营商的在线服务需求越来越大。线上渠道为客户提供了足不出户便可办理业务的快捷方式，对于运营商来说，它更是一种以低成本缓解实体渠道业务压力的绝佳途径，这种方式可以将部分线下服务渠道的人力资源从价值密度极低的业务办理中解放出来。因为针对某些故障处理业务，完全可以用线上服务替代线下人力资源支出
跳过此步
1、项目背景
管理IP：192.168.3.66
用户名：user09
随着通信行业的业务拓展以及网络的蓬勃发展，人们对运营商的在线服务需求越来越大。线上渠道为客户提供了足不出户便可办理业务的快捷方式，对于运营商来说，它更是一种以低成本缓解实体渠道业务压力的绝佳途径，这种方式可以将部分线下服务渠道的人力资源从价值密度极低的业务办理中解放出来。因为针对某些故障处理业务，完全可以用线上服务替代线下人力资源支出。例如，客户的宽带无法使用，往常这时候运营商就需要派出人力去为客户解决该问题。但宽带无法上网会有很多原因，比如用户忘记宽带密码、忘记开启设备开源等等。像这种问题，其实不需要派出专业的技术人员，打个客服热线就能够解决。这个时候就需要有一种技术分析出问题在哪儿，然后去评估这个问题是否一定需要派出技术人员才能解决。这样可以节省不必要的人力资源消耗。另外在服务质量方面我们也需要对用户进行评估，分析用户的特征，适当调整服务方案，提升客户体验。
现在是一个数据大爆炸的时候，各种各样的数据漫天飞。运营商可以把这些数据拿来进行离线分析，还可以实时抓取数据，然后对他们进行处理，最后得出想要的结果。
2、项目介绍
针对以上背景信息，本项目使用华为的大数据处理平台FusionInsight HD来对数据进行分析处理，帮助运营商提供更好的线上服务。用户需要先在大数据集群中安装各个组件的客户端，建议客户端安装目录为/home/当前OS的用户名/团队名字全程/，然后将运营商给出的历史数据（保存在开发环境的本地文件系统）集成到大数据集群当中，建议HDFS保存文件路径为/tenant/user**/。然后再对数据进行分析，统计各服务区域服务指标达标情况，以及各服务区域的累积服务量。通过数据分析，对各类用户做多维画像，降低用户的投诉和流失。主要包括以下4个方面的分析：
（1）全区服务统计
分别计算各服务区域内的申告量、回单量、回单率、重障量、重障率、及时量、及时率、成功率，存入全区域服务统计表a_bd_datastatistic_s。
申告量：累计的工单量。
回单量：处理成功的工单量。
回单率：回单量/申告量。
重障量：相同故障重复申告的工单量。
重障率：重障量/申告量。
及时量：未超时处理的工单量（申告量-超时未处理量）。
及时率：及时量/申告量。
成功率：（回单量-重障量）/申告量。
（2）投诉风险
通过申告次数、呼叫次数和用户情绪这三个维度评定用户等级，预防高危用户流失，降低投诉次数，提高用户体验。
综合工单数据与呼叫记录数据，为每个用户的三个维度打分（用户情绪、申告次数、通话次数），通过三个维度，将用户分类（高危、中危、低危、普通用户），并建立投诉风险评估表m_bd_complainrisk_s，把用户信息存入表中。
从投诉风险评估表中获取用户类型字段信息，统计相同投诉风险类型的用户总数，并统计不同类型用户的平均情绪指数、平均申告次数和平均呼叫次数等信息，存入不同类别用户指标表a_bd_customerevaluation_s。
（3）区域服务效能
通过申告量、专席人数来对各区域服务团队进行监控，结果存入服务效能表a_bd_efficiency_s。服务效能：各区域每月的工单量/各区域的专席人数（在线技术支持）。
（4）故障区域分布
统计不同区域不同故障的发生数量以及故障类型、网络介入方式等信息，存入故障区域分布表a_bd_faultarea_s。
具体表格结构参考下图：

根据前面的功能需求分析和系统整体的需求，将整个运营商在线服务系统划分为以下几个模块：数据来源模块、数据存储模块、数据处理模块和数据展示模块。图2为从数据来源模块到数据展示模块的结构图：

数据来源模块描述：
3、项目数据
比赛主办方提供相关数据，存放在集群外某个节点的指定目录下（节点IP地址为172.16.2.69，可以通过SSH方式访问，用户名为test，密码为Huawei@123；指定目录为/home/test/techgz_data/data2）。本数据来源于商业服务系统，分为两类：一类为工单历史数据，另一类为专席通话记录数据，由于篇幅原因，只能截取一部分内容做出展示。
该系统所需要的工单历史数据如图3:

文件名：workdata.txt

文件名：callrecord.txt
4、安装FusionInsight HD客户端
4.1登录管理界面
（1）进入实验环境
点击大数据管理节点，进入管理节点所对应的机器。

（2）查看管理节点ip
在此机器下输入 ip a， 在eth0网卡出查看属于本机的管理节点ip。（下方可直接查看该IP）
拷贝代码ip a

管理IP：192.168.3.66
用户名：user09
（3）登录管理节点网页，添加安全例外
1）回到大数据开发机，打开火狐浏览器，输入https://（你所获取的ip）:8080/web,回车。（注意：如果是第一次登陆，会出现警告）

2）点击高级、添加列外，确认安全列外，重复两次即可，随后可看到FusionInsight HD的登录界面。

4.2获取登录名并登录
（1）获取本机登录的用户名。
返回桌面，右键，在弹出的菜单中选择【在此处打开终端】，查看本机用户名

（2）登录
返回网页，输入用户名，密码为Huawei@123，登录，来到管理界面，点击服务管理。

4.3下载客户端并进入下载路径
（1）进入【服务管理】，选择页面的【下载客户端】，在弹出的【下载客户端】的页面中单击【确定】，等待页面加载在弹出的【正在打开**】的页面，选择【保存文件】并单击【确定】

（2）等待浏览器右侧的下载进度条，等待文件下载成功，在弹出的通知栏中选择右侧的文件夹进入【下载-文件管理器】，在此窗口空白处【右键】，选择【在此处打开终端】，在弹出的【Terminal终端】窗口中，输入"pwd"确保自己所在的目录是“/home/username/下载”目录

4.4 创建客户端安装的文件夹
输入“mkdir /home/username/client”命令创建目录
拷贝代码mkdir /home/username/client
#username替换自己的用户名
4.5解压软件并校验解压文件
（1）确保当前路径为下载【路径】，输入“ tar –xvf FusionInsight_Services_Client.tar”进行解压，解压完后会出现两个文件（一个是校验文件，另外一个是客户端文件），请单击图片查看是否与图片一致，解压过程请耐心等待。
拷贝代码tar -xvf FusionInsight_Services_Client.tar

（2） 输入“sha256sum -c FusionInsight_Services_ClientConfig.tar.sha256”校验客户端文件是否完整可用，校验后如下图所示则表示文件可用
拷贝代码sha256sum -c FusionInsight_Services_ClientConfig.tar.sha256

如果校验失败，则使用:
rm -rf FusionInsight_Services_Client.tar
rm -rf FusionInsight_Services_ClientConfig.tar
rm -rf FusionInsight_Services_Client.tar.sha256
删除下载的所有文件并重新下载（重复之前下载安装包的步骤）
拷贝代码rm -rf FusionInsight_Services_Client.tar
rm -rf FusionInsight_Services_ClientConfig.tar
rm -rf FusionInsight_Services_Client.tar.sha256
4.6解压客户端文件