大数据处理项目实施全周期中硬件设备的资源利用情况、耗材处置方案和安全防范措施，分析硬件运行效率和对环境影响

通信大数据行业掌握着体量巨大的数据资源，运营商手机用户每天产生的话单记录、信令数据、上网日志等数据可达到PB级的数据规模。同时未来多方技术融合必将成为趋势，随之带来的是数据增长呈井喷态势。通过通信大数据分析，可以改变营销方式、改善客户体验、开发和销售新的产品、对通信网络进行优化等。现需要搭建通信大数据处理平台，实现通信大数据的采集、存储、处理和分析。

 

• 问题分析和项目实施规划

大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析。通信大数据行业掌握着体量巨大的数据资源，运营商手机用户每天产生的话单记录、信令数据、上网日志等数据可达到PB级的数据规模。同时未来多方技术融合必将成为趋势，随之带来的是数据增长呈井喷态势。通过通信大数据分析，可以改变营销方式、改善客户体验、开发和销售新的产品、对通信网络进行优化等。所以首先要进行数据抽取，对海量数据进行预处理并进行数据存储。而后使用Hadoop，Kafka，Spark，HBase等搭建平台。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

HBase是一个分布式的、面向列的开源数据库，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

项目规划：

1. 统一平台基础能力，强化计算、挖掘及系统管理能力;
2. 统一核心处理能力，整合各系统的数据分层体系;
3. 加强数据管理，强化元数据、数据标准和数据质量管理，落实主数据管理;
4. 加强安全管理，完善安全相关功能，实现数据开发、测试、应用的安全;
5. 完善数据、服务和集成开发环境的能力开放;
6. 统一数据门户，整合数据交换平台/核心处理系统/大数据门户入口。

• 大数据处理平台硬件环境搭建

大数据分析平台自下而上一般分为三个部分，分别为：数据层、大数据采集与存储、数据分析及展示。

(1)数据层，针对不同系统进行分析，制定系统数据采集范围与目标，收集各个业务系统产生的各类数据，将各种结构化和非结构化数据进行整合，为大数据的分析提供支撑。

(2)大数据采集与存储旨在为各类异构数据研制适配接口，与其他各系统对接，并为数据提供适配、转换、存储等基本管理功能。

(3)数据分析和展示是核心业务层，通过数据报表工具，根据需求制定多样的，针对性的数据报表。针对存储的数据进行数据处理、算法运行、结果转换操作，将结果保存为报表文件，每日形成的报表文件集。报表展现系统将生成的报表文件以可视化方式进行展现。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

利用spark和hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求。同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时指标体系。

为了更好的满足的数据获取需求，通过RDBMS，提供企业高度汇总的统计数据，满足企业常规的统计报表需求，降低使用门槛。对大数据明细查询需求，则通过构建HBase集群，提供大数据快速查询能力，满足对大数据的查询获取需求。

建立Hadoop集群：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。数据预处理之后进行数据存储，然后通过可视化进行分析。

三、项目运行中对水、电资源需求分析

大数据技术具有很高的效率，并且能够大规模地处理水资源的相关数据信息，大数据技术在水资源的管理过程中，进行了合理的规划和水资源的开发，并且针对水资源的污染治理也有着很独到的保护方式，能够对水资源的利用有更好的计划，保证水资源不会被浪费，同时能够科学地管理水资源的开发以及利用等问题。目前大数据信息处理技术的实际使用情况来看，大数据信息处理技术保证水资源管理监测的合理性和实时性。在对水资源管理的监测过程中，大数据信息处理技术能够对水资源管理进行一定的指导，并且可以对这些水资源管理进行监测，保证在这些水资源管理能够得到更好的进行。数据技术可以帮助相关的政府部门更好地对水资源进行管理，根据不同地区对于水资源的需求和水质的不同，收集相关的信息，对水资源进行合理的调配。运用大数据技术，当地政府可以建立一个稳定的水资源信息处理平台，对水资源的各种情况进行更好的收集和管理，推动水资源管理体系的发展。

电力信息通信大数据智能运维过程中,由于负载管理策略的影响,使得数据运维容量较低。 因此,提出需求响应下电力信息通信大数据智能运维技术设计。 针对电力信息通信大数据进行特征分析,基于电力信息需求响应原理,设计数据负载管理策略。由于电力信息通信具有较为复杂的来源,为了加强数据特征获取的准确性,将所有通信大数据划分为非结构化数据与结构化数据。由于电网的工作特性,电力系统中往往包含一个数据中心,对电力信息通信大数据进行管理。考虑到负载的可迁移性特点,在需求响应参与者中添加数据中心,使其发挥负载调节的协助功能。以需求响应信号为基础,设计面向数据中心的负载均衡策略。基于电力通信大数据的特征分析结果,结合需求响应负载均衡策略,构建通信大数据智能运维模型。将数据中心、存储设备、虚拟机等各种电力通信设备之间的联系,通过静态关系模型准确描述出来。并且,电力通信设备与可分配资源之间的关联性也可以利用静态关系模型进行表述。

四、硬件运行效率分析与改进方案探索

完善能力开放体系，扩大能力开放范围。通过统一数据交换流程，开放数据采集及计算程序的调度能力，提供大数据基础平台从数据采集到定时调度处理的功能开放，提供更为便捷的开发者用户工具，实现用户开发脚本管理、版本维护、可视化脚本编辑等，提高开发效率，开放服务开发能力，基于大数据平台的实时查询服务提供，开放便捷高效的数据并发查询能力。

提升了集群存储与计算能力，优化整合大数据平台基础组件，升级大数据组件版本，提升集群运行效率，通过完善Spark实时计算框架，优化平台数据处理引擎，提升应用数据计算处理效率，统一并整合大数据各基础组件模块至大数据门户，构建数据可视化工具，整合并优化数据展示工具，基于自定义报表与图形化方式优化大数据展示能力，提供可配置动态拖拽的数据可视化引擎以及加挖掘组件能力，支持Python数据挖掘能力与建模，优化调度能力，完善大数据平台与传统关系型数据库处理能力的串联调度引擎，实现数据处理流程的统一。

通过完善统一运维管理与监控平台，优化平台运维管理能力，提供了运维指标的配置能力，扩展运维监控管理，提供服务器、组件、服务等基础平台监控。基于用户访问、应用连接、服务查询等平台操作使用提供有效的运维监控。

基于大数据基础平台及集群组件的密钥管理能力，和基于多租户的用户KDC授权认证与访问管理能力，为通信企业大数据平台提供了密钥的管理及自动化运维分发能力。构建应用大数据平台提升了通信企业的数据使用安全，实现数据授权分离，完善平台运营及权限租户管理，分离生产与开发数据权限，提供数据同步与加解密访问机制，保障数据安全。

考虑到用户当前乃至未来的生活需求，必须确保通信技术有较高的信息传输率，不断提高其信息传输率。在这种情况下必须坚持创新道路，针对通信技术存在的问题提出相应的解决策略。在走创新道路的过程中，关注政府的动态，可以积极寻求政府的帮助。利用政府提出的一些政策吸引高质量的创新型人才，让这些人才发挥作用参与通信技术的创新工作，可以拓展宽带，扩大宽带的覆盖范围。改变用人思路，引进更多优秀人才，让他们密切关注当前通信技术所存在的问题。利用自己的知识经验解决这些问题，帮助人们充分应用通信技术。