在哪里获取能源大数据?

能源大数据可以从各种来源获取,包括能源公司、政府部门、研究机构和数据公司等。例如,能源生产和消耗数据可以从国家统计局或能源部门获取,而能源市场数据则可以从能源交易所或数据公司获取。另外,也可以通过安装传感器或进行在线监测来获取实时能源数据。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
收稿日期:2015-03-25 摘要:针对电信运营商自身节能减排需要和所服务不同社会用户及政府能源管理机构对能耗信息服务的不同需求,提出建立电 信运营商物联网结合云计算的能源大数据管理系统。首先,概述了课题开发背景和能源大数据管理系统相关技术;其次,对系 统设计进行了介绍;接着,对系统实现进行了探讨。最后,对研究做了总结。 关键词:分项计量;节能减排;物联网;移动互联网;云计算;大数据 中图分类号:TP3 文献标识码:A 文章编号:1009-9492 ( 2015 ) 06-0024-05 Implementation of Energy Data Management System CHEN Ke-sheng (Guangdong Wincom Technology Developing Co.,Ltd.,Guangzhou510075,China) Abstract: For the telecom operators in their need for energy conservation and the social service of different users and different needs of government energy management mechanism of energy consumption information service,this paper presents the energy data management system for telecom operators Internet based cloud computing. First, summarizes the related technology research and development background of energy data management system, secondly, introduces the system design, and then discusses the system implementation,finally,makes a summary of this article. Key words: sub metering;conserve energy and reduce emissions;Internet of things;mobile Internet;cloud computing;big data 能源大数据管理系统的实现 陈克胜 (广东盈嘉科技工程发展股份有限公司, 广东广州 510075) DOI: 10. 3969 / j. issn. 1009-9492. 2015. 06. 006 0前言 集中式的管理和维护模式秉承树立绿色、低 碳发展理念,是响应国家节能减排号召的重要实 践。建设基于电信运营商物联网结合云计算技术 的能源管理系统非常必要,以从机房/基站数据中 获得能够真正反映设备运行状况的有效信息,利 用在线能耗数据挖掘分析结果,辅助实现依据用 能设备的负荷变化来动态优化用能设备的配电, 大幅度减少电能消耗并为优化能源管理的决策提 供科学支持,在满足通信业务发展的前提下尽量 节省资源,以提升通信运营商的社会形象和竞争 优势[1]。 1数据感知采集和物联网智能网关技术 (1) 数据感知采集[2] 本论文采集数据包括通信机房和通信基站两 大类用能场所,具体为列头柜、机柜、空调、照 明、办公插座等设备的能耗,还可以通过IPMI接 口采集服务器设备的功率、温度、CPU 使用率、 内存使用率、风扇工作参数等服务器状态数据。 具体技术设计思路如下。 通过利用智能电表、传感器、变送器、以 及物联网智能网关等采集设备及网络平台,将机 房/基站内空调、照明、电源、主设备和办公插座 等子系统联网集成到统一的管理平台进行智能监 控、数据分析和调度管理。 构建更加全面的传感网络,包括温湿度传 感网,气流传感网,做到对用能场所的更全面感 知。可以通过传感器的安装,相当于给机房装了 一个很精准的CT,对机房实现多角度旋转、缩放 观察的虚拟三维清晰图像,温湿度怎样,空调是 否处于合理状态,都能够看得一清二楚。 对用能场所内的设备全面采用RFID技术进 制造业信息化 机电工程技术2015年第44卷第06期 24 行识别和管理,以准确全面获取设备的属性及与 相关能耗数据的对应关系 主设备的能耗则是必须要采集到的重要数 据,以支持能耗的精细化分析和控制。比如服务 器的能耗数据,就需要通过各种合适的途径获 得。通过 ipmi 接口可以获得部分数据,还可以考 虑通过硬件芯片的方式获得。 利用 IPMI 接口可采集到服务器的静态信息, 包括 CPU、内存、
基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第1页。基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第1页。基于大数据云平台的电力能源大数据采集与应用 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第1页。 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第1页。 摘要:最近几年以来,随着经济全球化和我国社会主义市场经济的不断完善和发展,一方面,这在一定程度上给我国电力能源企业的发展提供了十分有利的外部环境,但是,另一方面,我国电力能源企业的发展也在激烈的市场中面临着巨大的挑战,电力能源企业传统的能源数据采集工作模式已经不能满足企业与市场的发展需求,电力能源企业如何根据经济形势与市场环境的变化调整自己的能源数据采集工作,从而实现企业现代信息化的目标,这不仅关系到电力能源企业的工作水平,还关系到电力能源企业的未来发展。为此,本文基于大数据时代背景,针对目前电力能源大数据采集的应用现状进行阐述,并为我国电力能源大数据的发展前景提出展望,旨在促进我国电力能源大数据的采集工作向一个全新的方向迈进。 关键词:大数据;电力能源;工作水平 引言:大数据是时代发展的产物,它完美地利用了当今网络社会的便捷,通过利用计算机、网络,使得企业更快速、更准确地获取相关信息。如今,大数据对大型企业、中型企业和小型企业都有着非常重要的作用,大数据对企业审计工作的重要性也越来越突出。大数据在很大程度上减少了企业人力资源、物力资源和财务资源不必要的损失和浪费,为企业带来诸多益处。基于当今互联网大基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第2页。基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第2页。数据技术的时代发展背景,如何将大数据技术的优势作用充分地发挥出来,这是现阶段我国电力能源企业所需要解决的重点问题。 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第2页。 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第2页。 一、电力能源大数据采集的应用现状 (一)线损管理 在前些年,我国电表盗窃、偷电窃电等行为频繁发生,这给我国的居民用电安全带来了巨大的威胁。目前,由于大数据技术的发展,关于电表盗窃、偷电窃电等一切不良行为只需要通过计算机大数据技术就可以解决一切问题。特别是用电信息采集网络系统的应用,一旦电表盗窃、偷电窃电等不良行为发生,用电信息采集网络系统就可以将窃电事件的发生地点、发生时间以及窃电用户的地理位置、窃电次数等一系列数据信息反映出来,并通过计算机将这些数据信息传达给相关工作人员。由于计算机大数据技术比人脑更加客观,更加机械,这样就在很大程度上降低了由于人力而影响的准确性,也减少了财力资源的消耗,更是大大地提高了排查工作的效率,从而使得防窃电工作取得显著成果。 (二)防治环境污染 最近几年以来,我国生态环境以及空气质量不断恶化,优化生态环境,净化空气质量已经成为我国经济发展过程中所必须遵循的重要原则。目前,在环境污染的防治工作中,电力能源大数据也得到了广泛应用。例如,2016年,河南省第一家电力公司与环保部门通过大数据共享平台进行数据的信息分享,他们将用户的具体用电基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第3页。基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第3页。数据、空气质量指数、PM2.5、PM10等数据建立起BP神经网络模型,并根据用户用电的信息对未来的空气质量进行一定的检测,并针对这些检测数据和检测结果,采取相应的措施解决环境污染问题。电力能源大数据技术在防治环境污染工作中的新应用,这意味着电力能源大数据采集工作已经根据时代的发展进步在不断的进行创新发展。 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第3页。 基于大数据云平台的电力能源大数据采集与应用全文共5页,当前为第3页。 (三)负荷预测 电力能源大数据技术在负荷预测工作方面也发挥着巨大的作用。具体地说,基于电力能源采集系统的数据信息,电力能源企业针对配电变压器在运行过程中所产生的整体做出一个大致的预判,如果电力能源企业预判配变重可能会发生严重过载的情况,那么,电力能源企业就可以预先采取一定的措施来应对配变重过载情况的发生,从而保证电力系统的安全运行以及电网运行的科学稳定。特别在北方冬季取暖时期,电力能源大数据技术在负荷预测方面的应用尤为有效,由此可以看出,它在保证供电安全、供暖安全等方面发挥着至关重要的优势作用。 二、电力能源大数据的发展前景 (一)电力能源大数据与日常维修 一般说来,电力能源设备和系统的维修工作与其他工作在本质上是一致的,该维修工作的顺利进行和有效展开离不开企业的日常维修以及管理。目前,随着互联网技术的不
随着经济的迅速发展,我国城市进入加速发展期。“十二五”期间,我国城 市化率将突破 50%,城市化对国民经济和社会进步的促进作用明显增强。与此同 时,人口膨胀、环境污染、资源短缺、交通阻塞等城市病已逐渐成为制约我国城 市发展的主要问题。为了实现城市的可持续繁荣,一方面需要进一步顺应城市的 全球化、多样化、社会化和协同化的趋势,建立新型的城市发展模式;另一方面 需要借助新技术革命强大的驱动力,奠定新型发展模式的基础。正如诺贝尔经济 学奖获得者斯蒂格利茨所言,“在 21 世纪初期,影响世界最大的两件事,一是新 技术革命,二是中国的城市化”。把握时代发展的脉搏,让新技术革命和城市化 的趋势结合,迫切需要寻求有效解决城市病,遵循城市发展客观规律的综合解决 之道,于是智慧城市就成为必然选择。 智慧城市是以具有科学城市治理理念的智慧型服务政府为主导,建构在信息 泛在基础之上的新型城市发展模式。智慧城市建设将极大提高城市的环境承载 力,有效驱动经济发展模式调整,全方位提升以人的发展为本的美好城市生活的 感知。智慧城市建设注重内生发展动力打造,不同的城市可以结合自身的区位发 展优势,演进出自身的智慧路径。 “国民经济和社会发展十二五规划”建议中强调指出,要遵循城市发展客观 规律,科学规划城市功能定位和产业布局,注重以人为本、节地节能、生态环保、 安全实用;2010 年政府工作报告中首次明确提出要大力发展物联网、新能源技 术为代表的等战略型新技术产业。 1.1.2 智慧城市的提出及相关定义 智慧城市是基于泛在化的信息网络、智能的感知技术和信息安全基础设施, 5 智 慧 城 市 解 决 方 案 透明、充分的获取城市管理、行业、公众用户海量数据,为公众提供共享信息, 打造智能生活、智能产业、智能管理的城市信息化应用。 智慧城市是以互联网、物联网、通信网、移动网等网络组合为基础,以智慧 技术高度集成、智慧产业高端发展、智慧服务高效便民为主要特征的城市发展新 模式。智慧化是继工业化、电气化、信息化之后,世界科技革命又一次新的突破。 利用智慧技术,建设智慧城市,是当今世界城市发展的趋势和特征。 “智慧城市”的理念就是把城市本身看成一个生态系统,城市中的市民、交 通、能源、商业、通信、水资源构成了一个个的子系统。这些子系统形成一个普 遍联系、相互促进、彼此影响的整体。在过去的城市发展过程中,由于科技力量 的不足,这些子系统之间的关系无法为城市发展提供整合的信息支持。而在未来, 借助新一代的物联网、云计算、决策分析优化等信息技术,通过感知化、物联化、 智能化的方式,可以将城市中的物理基础设施、信息基础设施、社会基础设施和 商业基础设施连接起来,成为新一代的智慧化基础设施,使城市中各领域、各子 系统之间的关系显现出来,就好像给城市装上网络神经系统,使之成为可以指挥 决策、实时反应、协调运作的“系统之系统”。智慧的城市意味着在城市不同部 门和系统之间实现信息共享和协同作业,更合理的利用资源、做出最好的城市发 展和管理决策、及时预测和应对突发事件和灾害。
34 EPEM 2020. 2 电网运维 Grid Operation 早在2009年"大数据"一词已成为互联 网行业的热点词汇。2011年 Science 对海量数据分析、处理方式进行了探 析,之后很多大型企业对大数据技术 进行了深入分析及研究,从而推动大数据技术稳定 发展 [1]。随着我国电力行业及科技的发展,云计算、 大数据等技术在电力行业得到广泛应用。由于我国 配电网建设规模逐渐增大,且建设用电信息采集系 统,每天用电信息采集系统将产生大量数据信息。 电力企业应重视的是如何迅速在海量信息中获取有 价值的信息,以提高企业服务质量。 1 用电信息采集及大数据云平台分析 用户信息采集。随着科技的发展,原有集中式采 集系统已不能满足电力企业发展需求,因而电力企 业可将其改为分布式采集系统,以提升用户信息采 集效率及质量,为电力企业保存、查询用户信息奠定 坚实基础 [2]。智能电表、集中器等现场采集设备采集 到的数据信息在传输至物联网平台后,经过计算将数 据信息传输至生产库、中间库、大数据云平台 (图1) 。 大数据云平台。电力企业依据信息采集系统, 建设基于 Hadoop 集群的大数据平台,可迅速完成 处理、分析海量数据信息的目标。同时,此大数据 平台可实现大量数据迅速上传、大量数据迅速下载、 SQL 运算、数据挖掘算法支持等功能。大数据平 台是由存储结算层、逻辑层、接入层及数据应用层 几层构成的。存储计算层的主要功能为 : 保存、计 基于大数据云平台的电力能源 大数据采集与应用研究 国家电网河南省电力公司 高晓峰 李晓蕾 董书谦 摘要: 电力企业需利用大数据技术由海量数据中迅速挖掘有价值信息, 以提高企业供电质量、 推动企业稳 定发展, 本文分析了电力能源大数据的应用及发展趋势。 关键词: 大数据云平台; 电力能源大数据采集; 应用 算海量数据 ;逻辑层的主要功能是为分布式 Mela 服务提供支持 ;接入层的主要功能是为用户提供 HTTP 服务 ; 数据应用层的主要功能为支持数据源、 多维分析模型、挖掘算法、智能识别等功功能的实 现,为深入挖掘有价值信息奠定基础(图2) 。 2 电力能源大数据的应用研究 基于自动化系统电力企业建设了省、市、县三 级采集监控机制,采集、分析全省所有采集终端设 备、用电情况,同时将信息与其他数据进行综合探 析,以实现充分发挥大数据作用的目标 [3]。 2.1 电力能源大数据在线损管理中的应用 利用电力数据采集系统探析用户是否存在窃电 行为,可有效提升防窃电工作质量。本次研究通过 分析已采集的大量数据信息,对 B1到 B6的6个单位 多个线损较高台区进行研究,分析其线损较高的主 要原因。表1总结了台区线损的主要原因,其中最重 要的原因为用户存在窃电行为。 图1 用电信息采集流程图 2020. 2 EPEM 35 电网运维 Grid Operation 为明确台区高损原因,各单位对窃电用户表进 行了分析,发现窃电这一违法事件主要出现在开盖 时间、电压异常等事件当中。其中最为常见的是开 盖事件。电力企业利用采集系统采集、统计用户用 电信息及电表开盖事件,可确定存在异常情况用户 地址、事件发生时间、发生次数等数据信息,这对 电力企业明确窃电用户、制定有针对性处理措施、 降低线损十分重要。通过对海量数据的分析,可减 少工作人员现场排查时间、提升工作效率。 2.2 电力能源大数据在负荷预测方面的应用 电力企业可通过分析已采集的数据信息预估未 来一段时间内电网负荷情况,以准确判断配电变压 器是否可负担,同时科学制定配变过载应对策略, 这对保证配电网稳定运行十分重要。 2.2.1 预估日负荷情况 不同地区的空气质量指数、气温、降雨量、居 民数量存在一定差异,因而电力企业需科学处理原 表2 某单位窃电事件统计分析表 事件 发生数量 开盖事件 136 电压异常 116 电流异常 75 相序异常 40 三相不平衡 40 电能表示值异常 20 其他 75 合计 502 表1 B1—B6高损工单统计分析表 单位 户变 关系 用户 窃电 未实现 采集 表计 接线 基础 档案 B1 163 201 104 23 121 B2 103 132 31 15 88 B3 49 65 7 12 41 B4 8 11 3 3 9 B5 56 61 16 21 45 B6 28 32 15 12 23 合计 407 502 176 86 328 始数据。研究发现,气温、降雨量、居民数量等因 素将影响台区负荷情况。为明确某台区未来一段时 间负荷情况,电力企业应使用线性回归分析方式进 行研究。由表3可发现,PM2.5、气温、降雨量将对 公变台区负荷产生较大影响。 本次研究中使用带动量梯度下降 BP 神经网络 算法、灰色模型等方式预估春节
云计算与⼤数据作业 1.什么是云计算 云计算(cloud computing)是基于互联⽹的相关服务的增加、使⽤和交付模式,通常涉及通过互联⽹来提供动态易扩展且经常是虚拟化的 资源。云是⽹络、互联⽹的⼀种⽐喻说法。 分布式计算:分布式计算是⼀种计算⽅法,和集中式计算是相对的。随着计算技术的发展,有些应⽤需要⾮常巨⼤的计算能⼒才能完成,如 果采⽤集中式计算,需要耗费相当长的时间来完成。分布式计算将该应⽤分解成许多⼩的部分,分配给多台计算机进⾏处理。这样可以节约 整体计算时间,⼤⼤提⾼计算效率。 2.云计算的特点 (1)超⼤规模:"云"具有相当的规模,Google云计算已经拥有100多万台服务器, Amazon、IBM、微软、Yahoo等的"云"均拥有 ⼏⼗万台服务器。企业私有云⼀般拥有数百上千台服务器。"云"能赋予⽤户前所未有的计算能⼒。 (2) 虚拟化:云计算⽀持⽤户在任意位置、使⽤各种终端获取应⽤服务。所请求的资源来⾃"云",⽽不是固定的有形的实体。应⽤ 在"云"中某处运⾏,但实际上⽤户⽆需了解、也不⽤担⼼应⽤运⾏的具体位置。 (3) ⾼可靠性:"云"使⽤了数据多副本容错、计算节点同构可互换等措施来保障服务的⾼可靠性,使⽤云计算⽐使⽤本地计算机可靠。 (4) 通⽤性:云计算不针对特定的应⽤,在"云"的⽀撑下可以构造出千变万化的应⽤,同⼀个"云"可以同时⽀撑不同的应⽤运⾏。 (5) ⾼可扩展性:"云"的规模可以动态伸缩,满⾜应⽤和⽤户规模增长的需要。 (6) 按需服务:"云"是⼀个庞⼤的资源池,你按需购买;云可以像⾃来⽔,电,煤⽓那样计费。 (7) 极其廉价:由于"云"的特殊容错措施可以采⽤极其廉价的节点来构成云,"云"的⾃动化集中式管理使⼤量企业⽆需负担⽇益⾼昂的 数据中⼼管理成本,"云"的通⽤性使资源的利⽤率较之传统系统⼤幅提升,因此⽤户可以充分享受"云"的低成本优势,经常只要花费⼏ 百美元、⼏天时间就能完成以前需要数万美元、数⽉时间才能完成的任务。 3.云计算的关键技术 云计算的关键技术有: 虚拟化、 分布式⽂件系统、 分布式数据库、 资源管理技术、能耗管理技术。 (1)虚拟化:虚拟化是实现云计算重要的技术设施,是在通过物理主机中同时运⾏多个虚拟机实现虚拟化,在这个虚拟化平台上,实现对多 个虚拟机操作系统的监视和多个虚拟机对物理资源的共享; (2)分布式⽂件系统:指在⽂件系统基础上发展⽽来的云存储分布式系统,可⽤于⼤规模的集群,主要特点: 1、⾼可靠性:云存储系统⽀持多个节点间保存多个数据副本的功能,以提供数据的可靠性;'' 2、⾼访问性:根据数据的重要性和访问频率将数据分级多副本存储、热点数据并⾏读写,提⾼访问; 3、在线迁移、复制:存储节点⽀持在线迁移,复制、扩容不影响上层应⽤; 4、⾃动负载均衡:可以根据当前系统的负荷,将原有节点上的数据迁移到新增的节点上,特有的分⽚存储,以快为最⼩单位来存储,存储 和查询时所有的存储节点并⾏计算; 5、元数据数据分离:采⽤元数据数据分离的存储⽅式设计分布式⽂件系统。 (3)分布式数据库:能实现动态负载均衡、故障节点⾃动接管、具有⾼可靠性,⾼可⽤性、⾼可扩展性; (4)资源管理技术: 云系统为开发商和⽤户提供了简单通⽤的接⼝,使得开发商将注意⼒更多低集中在软件本⾝,⽽⽆需考虑到底层架构,云 系统⼀句⽤户的资源获取请求,动态分配计算资源; (5)能耗管理技术: 云计算基础设施中包括数以万计的计算机,如何有效低整合资源、降低运⾏成本,节省运⾏计算机所需的能源成为⼀个关 注的问题 4.什么是集群、集群的类型 集群(cluster)就是⼀组计算机,它们作为⼀个整体向⽤户提供⼀组⽹络资源,这些单个的计算机系统就是集群的节点(node)。集群提 供了以下关键的特性。 (⼀) 可扩展性。集群的性能不限于单⼀的服务实体,新的服务实体可以动态的加⼊到集群,从⽽增强集群的性能。 (⼆) ⾼可⽤性。集群通过服务实体冗余使客户端免于轻易遭遇到"out of service"警告。当⼀台节点服务器发⽣故障的时候,这台服务器 上所运⾏的应⽤程序将在另⼀节点服务器上被⾃动接管。消除单点故障对于增强数据可⽤性、可达性和可靠性是⾮常重要的。 (三) 负载均衡。负载均衡能把任务⽐较均匀的分布到集群环境下的计算和⽹络资源,以便提⾼数据吞吐量。 (四) 错误恢复。如果集群中的某⼀台服务器由于故障或者维护需要⽽⽆法使⽤,资源和应⽤程序将转移到可⽤的集群节点上。这种由于某个 节点中的资源不能⼯作,另⼀个可⽤节点中的资源能够透明的接管并继续完成任务的过程叫做错误恢复。 分布式与集群的联系与区别如下: (⼀) 分布式是指将不同的业务分布在不同的地⽅。 (⼆) ⽽集群指的是将⼏台服务器集中在⼀起,实现同⼀业务。 (三) 分布式

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值