构筑广东环境科学研究院生态环境实时数仓,TDengine如何处理百亿行级大数据?

广东省环境科学研究院采用TDengine构建生态环境实时数仓,处理百亿行级大数据,提升数据读写效率和存储性能。项目涉及重点排污单位、重型柴油车OBD和VOCs排污企业的实时监测数据,通过TDengine实现高效查询分析,未来计划在边缘层建设中进一步应用。
摘要由CSDN通过智能技术生成

企业简介:广东省环境科学研究院是一家综合性研发机构,拥有环境工程咨询、工程设计、环保工程承包、实验室计量认证等多个资质,可开展区域可持续发展战略、生态环境规划、生态环境政策、生态环境标准等研究,为解决区域重大生态环境问题提供生态环境风险、生态环境工程、生态环境检测和生态环境大数据研究。

为解决国内环境质量管理、污染源监管和数字政府等生态环境数据的数据汇聚、数据清洗、数据质量管理、数据重构、数据应用等一系列数据管理工作,我们创建了生态环境数据治理服务项目,帮助企业打通所有相关的业务信息系统、建立数据仓库,以大数据技术为生态环境的精准治理和智慧决策提供支撑。

本项目的实时数仓架构如下图所示,通过建设生态环境感知层来及时捕获环境质量实时状态及实时的污染排放状态,获取大气、地表水、近岸海域、固定(移动)污染源污染排放等业务中的实时监测数据,利用大数据技术手段进行分析研判,对可能发生的环境事件进行预警。

图1 实时数仓架构图

同时,为避免重复建设,在项目中我们建立了生态环境实时数据仓库,采用集中式的采集、归聚、分析和数据服务,可有效利用资源和技术,获得最直观的技术成效。

从关系型数据库到TDengine

与一般的数据存储

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值