hadloop大数据平台论文_企业大数据平台建设过程中的问题和建议

2

0

1

7

年

第

1

2

期

信

息

通

信

2017

(总第

180 期)

INFORMATION

&

COMMUNICATIONS

(

Sum

.

N

o

180)

企业大数据平台建设过程中的问题和建议

陈实如

(方正宽带网络服务有限公司，

北

京

100011)

摘

要

：

总结了企业大数据平台建设过程中的几个问题。

客观认识数据价值，

提出大数据研究要与业务应用需求密切相结

合

，

研究成果必须落地的观点。大数据平台的建设需要统一规划小版本迭代完善，

是一个长期研究过程。

最后总结了经

历宽带用户画像大数据平台建设的心得和体会，

对行业相关企业开展大数据研究工作具有参考价值。

关键词：

大数据;人物画像;标签体系

中图分类号:

TM

76

文献标识码:

A

文章编号=

1673-1131(2017)12-0141-02

〇

引

言

数据的确有价值，

把更多的数据采集到了数据中心，

避免

数据孤岛，

构建大数据平台，

实现数据统一管理，

统一分析挖

掘

，

数据就具备了更大的价值。利用数学工具，

分析和挖掘数

据的关联性，

构建数据模型，

开采数据金矿，

探索基于数据的

新业务模式，

新商业价值。在这种背景下，

大数据很火。只要

有数据的企业，

都在讨论和建设了自己的大数据平台，

展现自

己企业的数据挖掘结果。同时，行业里也涌现出了大数据服

务公司,从专业角度为企业提供咨询、

建模、

开发等工作，

大大

促进了大数据工作的进展。挖掘数据内在联系一定能找到金

矿

，获得额外惊喜收获？答案并非如此。大数据讲究的数据

的质量，数据的维度，数据的内在关联性，而不是简单地有

10

T

B

量级的数据。本文总结了宽带用户画像平台建设过程

中出现的问题，

并提出了参考建议。

1

认

知

问

题

数据不一定是万能的。数据由业务过程产生，只有具备

关联关系的数据才能反映控制体本身特性。这种关联关系可

能是显性的,可能是隐形的。显性关联关系是很容易发现的,

隐形的关联关系是很难发现的，但隐形的关联关系从业务逻

辑上是可以解释的。

隐形关联关系很难用单一的线性和非线性模型来表征，

那么利用数据结果特征来分析和建模控制体是可行的。对于

两个毫无关联关系的控制体来讲，即使利用大数据工具对有

限的数据样本构建了两者的关联模型，那也只能是数学上的

关联关系，

数学上的模型,不能有效反映业务控制体内在关联

特征，不能预测业务未来发生。所以企业数据资源是否有价

值

，

如何构建大数据平台，

如何分析挖掘数据价值，

是否真的

能挖掘出有价值的东西，是企业在构建大数据平台之前要重

点考虑的问题。要客观认知数据价值，不能为大数据而大数

据

，

盲目跟风，

而应该从业务角度来看，

从业务需求出发加强

业务与数据的研究，首先解决显性关联关系的控制体数据模

型

，然后去解决隐形关联关系的控制体数据模型。大数据研

究结果是要指导业务运营,以具体业务应用为考核目标，

不探

(3)分布式电源、

储能装置通信需求。分布式电源需要将

实时运行数据上传到主动配电网监控中心，并且接受监控中

心下发的

AGC

、

AVC

控制指令，

通信时延应小于1

秒,通信带

宽大致需要20

K

b

p

s

级

。储能装置需将各储能模块实时运行

状况监测数据上传至监控中心，同时接收监控中心下发的控

制命令，

通信时延应小于1

秒,通信带宽约为64

Kbps

~2

Mbps

。

1.

3

高级量测体系通信需求

(1)

智能电表通信需求。

智能电表是主动配电网中实现“

网”

与

“

荷”

互动的桥梁，

是实现柔性负载必不可少的。智能电表

实时采集用户用电信息上传给主动配电网监控中心，监控中

心向用户下发实时、

分时电价，

并对用户可调负载下发控制指

令

。智能电表电表5

分钟信息量约为60

0

字节，通信带宽大

致

需

要

0.016

Kbps

,智能电表信息一般采用低压载波通道汇集

至集中器，

一台集中器按管理500个智能电表计算，

则集中器

与监控中心之间通信通道带宽约需要10

Kbps

。

(2)

大客户负荷管理通信需求。

针对大客户负荷的具体需

求

，

可以采用双向互动的模式，

对负荷进行精细化管理。监控

中心将电能质量、

负荷预测、

负荷控制等信息下发，

大客户负

荷根据供电质量、

电价和停电信息，

优化用电时间，

提高经济

效益。

大客户负荷管理通信带宽约需要5

Kbps

,时延要求相对

较低，

约

为

3

秒

。

1.

4

配网设备在线状态监测系统通信需求

进行设备全生命周期管理是提高电网资产利用率的一

个重要举措。为了延长设备使用寿命、

提高设备检修效率,

需对主动配电网中设备、

线路的运行状态进行在线监测。

设

备

运

行

状

态

监

测

为

秒

级

业

务

，每

个

业

务

点

带

宽

需

求

约

为

10

Kbps

〇

2

结

语

主动配电网中的配电自动化、

高级量测、

负荷侧响应、

配

网设备在线监测都需要通信系统的支持。因此，通信系统的

设计被认为是主动配电网建设中至关重要的环节。而在设计

主动配电网通信系统时，首要任务就是明确主动配电网中各

业务类型及带宽需求。本文结合主动配电网特征，对主动配

电网中各项通信业务需求进行了详细分析，可供建设主动配

电网通信系统时参考。

参考文献：

[

1

]

马钊,梁惠施，

苏剑.主动配电系统规划和运行中的重要问

题[

J

].电网技术，

2015,39(6):1499-1503.

[

2

]

程

林，

刘琛，

康重庆，

吴强.主动配电网关键技术分析与展望

[

J

]

•电力建设，

2015,36(1):27-32.

[

3

]

柳

春芳.主动配电网的一体化设计方法[

J

].电力系统保护

与控制,2015,

43(11)

:49-55.

[

4

]

李得利.智能配电网通信系统探讨与性能分析[

D

].重庆:

重庆大学,2012.

[

5

]

苏波.佛山地区智能配电网通信方案设计及网络建设[

D

]

.

北京:华北电力大学,2013.

作者简介:付诚(1986-),男，

硕士，

工程师，

从事电力通信、

调度

自动化设计工作。