大数据开发---电信项目
文章平均质量分 72
我非夏日
找工作ing
展开
-
基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目需求描述
国内移动互联网进入快速发展阶段,但随着互联网公司介入及基于应用商店模式的终端厂商的快速加入,电信运营商出现数据业务收入增速放缓的困境,面临被管道化的威胁。同时随着移动互联网应用的普及化,电信运营商存储的数据规模从GB级迈向TB级甚至PB级。在商业竞争中,通过数据分析辅助经营已成为有效的手段,但传统的数据分析架构已经不能适应这种海量数据处理和快速、深度挖掘的需求。Hadoop这种大数据处理框架为解决上述问题提供了一种新的思路,在此背景下本系统的设计与实现作为某省电信大数据平台建设项目的预研。原创 2024-07-02 10:31:09 · 803 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目技术预研(技术架构)
任务描述掌握项目的总体功能,及实现流程。预习项目中所使用到的技术和知识点。任务指导。原创 2024-07-02 10:32:39 · 599 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析②项目分析与设计---需求分析-项目场景引入
需求分析(软件工程学术语)_百度百科。原创 2024-07-02 10:35:10 · 912 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明
任务描述项目的运行环境是基于Hadoop的全分布式模式集群。任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。任务指导。原创 2024-07-02 10:37:17 · 464 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务2:准备网络环境
任务描述任务内容为初始化网络分配方案,修改网卡信息、主机名称及hosts文件等操作。任务指导修改主机名称并完成集群内个节点的名称与IP地址映射,保证集群内节点间能够互相访问任务实现。原创 2024-07-02 10:38:05 · 353 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务3:配置SSH免密码连接
Hadoop分布式集群是由多个节点组成,各节点之间需要通过网络访问,如果每次都需要输入密码,非常不方便,所以可以考虑设置各节点之间免密码连接。任务的内容为在各个节点配置SSH,生成密钥对,然后再将公钥分发到所有节点,这样就可以实现各节点之间的免密码连通了。原创 2024-07-02 10:39:43 · 510 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务4:安装并配置JDK
Hadoop 2.8需要JDK 1.6及以上版本的JDK,建议安装JDK 1.8,如果Cent OS是最小化安装,可能没有Open JDK,即使已经安装过Open JDK也可以使用JDK 1.8替换系统自带的Open JDK。任务的内容为检查各个节点的JDK的安装情况,同时安装 JDK并配置环境变量。原创 2024-07-02 10:40:59 · 495 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务5:ZooKeeper集群安装
ZooKeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用ZooKeeper的集群管理功能。在这里使用ZooKeeper配合实现HBase元数据管理。任务的主要内容为在master1、slave1、slaver2三个从节点上安装ZooKeeper,分别启动ZooKeeper并验证可用性。原创 2024-07-02 10:46:49 · 569 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务6:安装并配置Hadoop
项目的运行环境为基于Hadoop的全分布式模式集群。任务的主要内容为安装Hadoop分布式集群环境。原创 2024-07-02 10:49:28 · 1054 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务7:格式化并启动Hadoop集群
任务内容为格式化并启动Hadoop集群,并修复可能出现的Bug。原创 2024-07-02 10:52:15 · 751 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务8:测试Hadoop集群的可用性
测试Hadoop集群的可用性。原创 2024-07-02 10:53:30 · 333 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务9:HBase的安装和部署
任务内容为HBase的安装部署与测试。原创 2024-07-02 10:55:11 · 679 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务10:Hive安装部署
任务内容为安装并配置在Hadoop集群中使用Hive。原创 2024-07-02 10:58:12 · 584 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Kafka大数据运算环境---任务11:基础环境准备
Kafka版本包括使用的scala语言版本和kafka版本,不同版本功能区别还是很大的,有些版本重写了produce和consumer。如【kafka_2.12-2.4.1.tgz】中2.12代表的是Scala版本,2.4.1是Kafka版本。Kafka和ZooKeeper都需要安装Java环境,推荐至少Java8及以上版本。ZooKeeper是Kafka集群的必要组件。2、安装ZooKeeper。原创 2024-07-02 10:59:47 · 612 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Kafka大数据运算环境---任务12:安装Kafka
任务内容为安装和配置Kafka集群。原创 2024-07-02 11:01:13 · 597 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Flume大数据开发环境---任务13:Flume环境准备
随着互联网的发展,在互联网上产生了大量的Web日志或移动应用日志,日志中包含大量用户的重要信息,通过日志分析,用户可以获取网站或应用的访问量,以及网页访问人数、网页价值、用户特征、用户兴趣、购买力分布等。一般中型的网站(10万的PV以上),每天会产生1GB以上的Web日志文件。大型的网站,甚至可能每小时会产生500GB—1TB的数据量。对于这种规模的日志数据,使用Spark进行大规模的日志分析与日志处理,能够达到很好的效果。原创 2024-07-03 09:43:06 · 691 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Flume大数据开发环境---任务14:Flume安装部署
任务内容为安装和配置Flume,并测试收集流式数据。原创 2024-07-03 09:44:58 · 454 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析④项目实现:任务15:数据生产
电信数据生产是一个完整且严密的体系,这样可以保证数据的鲁棒性。在本项目的数据生产模块中,我们来模拟生产一些电信数据。同时,我们必须清楚电信数据的格式和数据结构,这样才能在后续的数据产生、存储、分析和展示环节中正确使用数据,避免可能出现的问题。原创 2024-07-03 09:47:30 · 1289 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析④项目实现:任务16:数据采集/消费/存储
数据生产”的程序启动后,会持续向callLog.csv文件中写入模拟的通话记录。接下来,我们需要将这些实时的数据通过Flume采集到Kafka集群中,然后提供给HBase消费。:是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。适合下游数据消费者不多的情况,适合数据安全性要求不高的操作,适合与Hadoop生态圈对接的操作。原创 2024-07-03 09:52:16 · 1592 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析④项目实现:任务17:数据分析
JDBCUtil类:用于创建MySQL的JDBC连接、关闭连接。//定义JDBC连接器实例化所需要的固定参数/*** 实例化JDBC连接器对象*/try {/*** 释放连接器资源*/try {= null &&!= null &&!= null &&!JDBCInstance类:用于以单例模式获取MySQL的JDBC连接对象。原创 2024-07-03 10:07:00 · 1210 阅读 · 0 评论 -
基于Hadoop平台的电信客服数据的处理与分析④项目实现:任务18: 数据展示
接下来我们需要将根据业务需求将某人按照不同维度查询出来的结果,展示到Web页面上。原创 2024-07-03 10:14:40 · 990 阅读 · 0 评论