在现代钢铁制造领域,生产过程的复杂性与高效运作的需求对企业的管理和技术系统提出了极高的要求。面对成千上万的监测点,以及海量的时序数据,企业面临的首要挑战是如何高效存储、处理和分析这些数据,从而提升生产效率并确保系统稳定性。特别是随着数据量的指数级增长,传统的存储和查询系统已难以满足实时性与准确性的要求。
在此背景下,某钢厂在最新项目中采用了北京首钢自动化信息技术有限公司(下文简称“首自信”)自主研发的 IoT 平台,打造了一个集成的云边端管理系统。为实现该系统的高效存储与查询能力,首自信选择集成 TDengine,利用时序数据管理技术应对上述挑战。
场景及痛点
据了解,该系统在边缘端利用定制的采集器实时采集数据,覆盖了包括炼铁和炼钢在内的整个生产流程,目前规划有 25 万个监测点,预计未来随着更多数据的接入,监测点数量将达到 50 万个,要求每秒采集数据,并存储至少五年的历史数据,预计总量将达到 80 万亿条记录。这对数据存储系统提出了巨大的挑战,不仅需要高效的存储能力,还必须确保数据的安全性和高可用性,同时支持系统的灵活扩展。
其次,该系统需支持多种时序查询方式,以便高效生成数据曲线并进行报表统计分析。面对乱序写入的挑战,系统还需具备强大的处理能力,能够应对不同消费组的消息队列消费不一致和历史数据补传问题。同时,设计高效的云边协同机制也至关重要,以确保在网络不稳定的情况下实现断线续传,并在边缘端数据更新后自动同步至中心端,保障数据的一致性和实时性。
解决方案与效果
TDengine作为一款高效的开源时序数据库,凭借其卓越的性能和灵活架构,解决了钢铁生产中的诸多痛点。它通过高效存储技术,达到 20:1 的高压缩比,支持冷热分离、多级存储,并根据业务需求灵活扩展,实现动态扩容而无需中断服务。
此外,TDengine 具备丰富的时序查询优化功能,提供时间截断、时间差计算、累加求和、单位变化率、列有效值差、瞬时增长率、k值移动平均、状态次数统计、状态时长统计、时间加权平均以及积分等多种时序数据优化函数,还支持数据切分查询和时间窗口切分查询等特色查询功能,满足客户对时序数据处理的灵活性和高效性需求。
针对乱序数据写入,TDengine 企业版通过异步整理和简便的 SQL 操作,实现数据的在线整理与存储空间的有效释放。其云边协同架构支持边缘计算、断线续传、负载解耦和流量削峰,边缘端可进行数据清洗和统计,减轻中心端的存储和计算压力。同时,TDengine 支持行为同步,确保创建、删除和修改操作及时同步至中心,实现边缘与中心的高效协同和统一管理。
结语
通过引入 TDengine,该系统不仅实现了对大规模数据的高效管理与存储,更借助时序数据的深度分析能力,提升了整个钢铁生产的智能化水平。这一系统成功应对了当前的存储与处理挑战,并具备极高的扩展性,为未来的进一步智能化生产奠定了基础。未来,TDengine凭借卓越的性能与灵活性,将持续为行业的数字化转型提供坚实支撑。
关于首自信
北京首钢自动化信息技术有限公司隶属首钢集团,是集团唯一的自动化、信息化专业公司,具有较强的技术开发、创新能力和成功的国际合作经验,已形成了以四级自动化产品及其服务体系构成的产业架构,在大规模集成电路、工业机器人、触摸电脑信息技术、炼钢自动化控制系统、高炉自动化控制系统、轧钢自动化控制系统、交直流传动系统、智能燃气表、智能电表、智能中子水分仪、r-料位计、E-catch 数字监控系统等领域居国内先进水平,在上述领域已成为享誉业界的产品制造商和系统集成服务商。