工业物联网中的时序数据

CnosDB的研发工程师们正在如火如荼的推进着Rust版本的研发工作,在此Jesse感谢各位小伙伴一直以来对社区的理解与支持,本期我们就想来聊聊工业物联网中的时序数据。 

本文仅代表个人观点,如有偏颇之处,还请海涵~  

工业革命是人类历史的分水岭。人类的工作方式发生了极大的转变——从零碎的家庭作业转向机械化制造。自18世纪以来,流水线和计算机等一系列创新浪潮不断改变着制造业的性质。今天,我们正处于另一场创新浪潮的工业转型之中——工业4.0,其涉及将原始数据与经过训练的机器学习模型提供给工业生产自主系统以加快生产流程。

具体来说,生产制造商希望得到较为准确以及可预测的产出。为此,他们采用了物理设备,比如,各类安装在机器上设备上监控数据的传感器。这些传感器是工业物联网(IIoT)的基础,并记录着大量有关工业机械性能和功能的关键数据。

数据关键特征:时间

我们发现,无论工业运营商的传感器收集什么类型的读数,它总是包含一个时间戳,这为工业读数提供了一个共有的特征。带时间戳的时序数据也成为了我们处理和理解工业4.0物联网数据的关键支点。

值得庆幸是,支撑工业 4.0 的基本原则与时间序列数据的特征相吻合。工业4.0致力于:

(1)互连:使设备、传感器和人员相互连接和通信的能力。

(2)信息透明:互连允许从制造过程的所有点收集大量数据,这些数据提供给工业运营商可以为他们提供有效的理解,有助于确定创新和改进的领域。

(3)技术援助:使用集中式仪表板汇总和可视化收集的数据的能力,使工业运营商能够做出明智的决策并即时解决紧急问题。

(4)分散决策:系统将具有根据收集的数据自主执行任务的能力。我们只需要人工向系统中输入例外情况。将这些概念和目标与时序数据的一些IIoT用例相比较,我们就会发现时序数据几乎触及工业运营的所有方面。

工业4.0 —— 结合时间观察

工业运营商希望对他们的机器和流程有更大的可观察性,而时序数据为此提供了基础。将这些原始数据转化为具有见解的行业Know-How是工业4.0中时序数据的关键目标之一。利用合理的工具来处理、转换和分析这些数据将成为工业4.0计划能否成功的关键。我们发现,很多工厂和制造商都还在使用传统的在工业3.0中使用的工业实时数据库(可参考:https://mp.weixin.qq.com/s/QYEZ16sbe4YQuCZY3mXp7Q),而这些方案是不适合工业4.0系统的,主要有以下几个原因:

(1)成本高:这些解决方案的设置和维护成本很高,而且每年收取许可费和支持费。大多数工业运营商之前所用的数据库的安装都需要定制开发来满足特定业务或流程的需求,并且可能需要外部咨询资源。这些系统的专有性质意味着这项工作既耗时又昂贵。

(2)供应商锁定:这些解决方案通常基于Windows,不提供简单、开放的API来与其他软件交互。因此,工业运营商需要从单一供应商处购买所有集成和组件,这就会将用户锁定在专有解决方案中。

(3)可扩展性差:此前运营商在构建时序数据库时考虑到了有限的数据集。这在引入人工智能或机器学习 (AI/ML) 等高级功能时会产生问题。这些功能需要更多数据来训练模型,而传统系统无法处理这些数据。

(4)开发人员体验差:之前解决方案式的服务,采用传统的封闭式设计,API支持有限。因此,实施或集成这些系统需要花费大量时间和金钱。这些封闭式设计解决方案提供的内置工具很少,没有开发人员社区,也不支持模块化开发方法,因此限制了开发人员挑选最适合其组织需求工具的能力。

(5)孤立的数据:数据采集与监控系统制造商可能会为其设备提供数据历史记录,但大多数使用传统制造执行系统(MES) 的工业组织会将其所有数据整合到单个本地数据历史记录中。但是,由于缺乏微服务架构和开放API,以及防火墙和子网的广泛使用,通常会在站点级别分离数据。

由于无法与现代 IT、云或开源软件解决方案集成,此前运营商所使用的传统工业实时数据库无法提供发展工业运营所需的灵活性和连接性。这显著降低了工业 4.0 环境中所涉及的运营技术和 IT 系统及其包含的数据的功效,因为传统工业实时数据库与其他系统之间缺乏互操作性会抑制创新并限制可观察性。

替换工业实时数据库

我们自然而然的会思考一个问题,如果传统的工业实时数据库不是工业4.0的答案,那我们应该用什么来替换他呢?我们相信,大部分制造商可能都想选择他们熟悉的技术来替换,比如关系型数据库,但可惜的是关系型数据库无法针对海量数据进行扩展,存在对时序数据存储容量和查询效率低下的问题。

事实上,最适合这些传统工业运营商或者制造商的数据库替代品应该是一个开源的时序数据平台。比如,CnosDB就是专门处理时序数据的数据库,其有着良好的压缩比和支持海量数据的写入。它使用API,因此能够与几乎任何其他连接的设备集成。CnosDB还是一个无模式平台,因此它会自动适应传入IIoT数据形状的变化。与国际领头羊厂商InfluxDB相比,CnosDB未来不仅全面兼容InfluxDB,且分布式功能完全免费,可以让客户无痛迁移,同时也将更加拥抱云生态。

管理和利用时序数据

这种广泛的连接性还使制造商能够更轻松地监控和管理现场的分布式系统和网络以及远程设备。比如,如果工业制造商或者运营商在不同地域拥有三个不同的设施,CnosDB允许他们从每个设施的每台机器上的每个传感器收集数据。每个设施生成的数据都可以在现场汇总和存储。这些汇总的数据会发送到中央存储实例,该实例从所有三个站点收集数据并汇总,最终企业可以在公司范围层面通过汇总的数据来分析,从而产生不同的Know-how。这也适用于边缘上的任何连接设备,无论是农村太阳能电池板还是具有 GSM(全球移动系统)连接的海洋浮标。不论您的公司如何定义“边缘”, CnosDB都可以处理这些物联网设备收集的数据。

CnosDB 简介

CnosDB 是一款高性能、高易用性的开源分布式时序数据库,现已正式发布及全部开源。

欢迎关注我们的代码仓库,一键三连🙇🙇🙇:https://github.com/cnosdb/cnosdb

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
这是由美联储经济数据库(FRED)托管的美联储数据集。有关每个文件的更多详细信息,请参见各个文件的说明。 industrial-production-business-equipment_metadata.json industrial-production-consumer-goods_metadata.json industrial-production-durable-consumer-goods_metadata.json industrial-production-durable-goods-raw-steel_metadata.json industrial-production-durable-manufacturing-motor-vehicles-and-parts_metadata.json industrial-production-durable-materials_metadata.json industrial-production-electric-and-gas-utilities_metadata.json industrial-production-electric-and-gas-utilities_metadata_1.json industrial-production-final-products-and-nonindustrial-supplies_metadata.json industrial-production-final-products-market-group_metadata.json industrial-production-fuels_metadata.json industrial-production-manufacturing-naics_metadata.json industrial-production-manufacturing-naics_metadata_1.json industrial-production-manufacturing-sic_metadata.json industrial-production-materials_metadata.json industrial-production-mining_metadata.json industrial-production-mining-crude-oil_metadata.json industrial-production-nondurable-consumer-goods_metadata.json industrial-production-nondurable-materials_metadata.json industrial-production-residential-utilities_metadata.json industrial-production-total-index_metadata.json IPB50001N.csv IPB51222S.csv IPBUSEQ.csv IPCONGD.csv IPDCONGD.csv IPDMAT.csv IPFINAL.csv IPFPNSS.csv IPFUELS.csv IPG2211A2N.csv IPG3361T3S.csv IPG211111CN.csv IPGMFN.csv IPMAN.csv IPMANSICS.csv IPMAT.csv IPMINE.csv IPN3311A2RN.csv IPNCONGD.csv IPNMAT.csv IPUTIL.csv
### 回答1: 高并发时序数据存储的一种专利,该专利提供了一种利用可伸缩的数据模型来存储时序数据的方法,在收集、存储、管理和检索时序数据的过程提供了更高的性能和可伸缩性。专利提出了一种利用可伸缩的数据模型来存储时序数据的方法,它可以支持高并发量的时序数据存储,从而有效提高时序数据收集、存储、管理和检索的性能。 ### 回答2: 标题:基于高并发时序数据存储的方法与系统 摘要:本专利涉及一种基于高并发时序数据存储的方法与系统,旨在解决传统数据存储方法在处理大规模时序数据时的性能问题。该方法与系统采用分布式架构,具备高并发、高可靠和高可用性的特点,适用于大数据分析、物联网、金融交易等领域。 1. 技术背景: 随着互联网和物联网的快速发展,海量时序数据的产生和存储成为一个重要挑战。传统的关系型数据库和文件系统已经无法满足高并发和高吞吐量的需求。因此,本专利提供一种针对高并发时序数据存储的解决方案。 2. 发明内容: 本专利提供了一种基于高并发时序数据存储的方法和系统。该方法主要包括以下步骤: a) 数据分区与负载均衡:将大规模的时序数据根据时间戳进行分区,并采用负载均衡策略将数据均匀地分布到多个存储节点上,以实现高并发和高吞吐量的数据处理; b) 数据存储与索引:利用分布式存储技术,在每个存储节点上存储时序数据,并建立索引,以支持快速的数据检索和查询; c) 冷热数据分离:根据数据的使用频率,将热数据存储在高速存储介质上,而将冷数据存储在低成本的介质上,以提高存储效率和降低成本; d) 容灾与备份:采用多副本备份和容灾技术,确保时序数据的安全性和可靠性; e) 数据压缩与清理:对历史数据进行压缩和清理,以减少存储空间的占用率。 3. 优势和创新点: 本专利的方法与系统具有以下优势和创新点: a) 高并发能力:采用分布式架构和负载均衡策略,实现高并发和高吞吐量的数据处理; b) 高可靠性:采用多副本备份和容灾技术,确保时序数据的安全性和可靠性; c) 高扩展性:支持动态增加存储节点,以应对数据规模的增长; d) 低成本:通过冷热数据分离和数据压缩技术,降低存储成本; e) 快速查询:通过建立索引和优化查询算法,实现快速的数据检索和查询。 总结:本专利提供了一种高并发时序数据存储的方法与系统,具备高并发、高可靠和高可用性的特点,适用于大规模时序数据的处理和分析。该方法与系统在大数据分析、物联网、金融交易等领域具有广阔的应用前景。 ### 回答3: 题目:高并发时序数据存储的专利申请 摘要: 本发明涉及一种用于高并发时序数据存储的系统和方法。当前,大数据物联网应用的快速发展使得时序数据存储需求在不断增加。本发明提出了一种高并发时序数据存储方案,可实现在高并发情况下高效地存储和检索时序数据,使得大规模数据的采集、处理和分析更加便捷。 背景: 现有技术,传统的时序数据存储方法在遇到高并发请求时存在存储吞吐量低、延迟高等问题。本发明针对这些问题提出了一种新的高并发时序数据存储方案,期望优化存储系统的性能和效率。 发明内容: 本发明提出了一种高并发时序数据存储系统,包括数据采集模块、存储处理模块和数据检索模块。其数据采集模块负责从不同设备或传感器接收并采集时序数据,并对数据进行预处理。存储处理模块负责将经过预处理的数据存储到数据,并进行数据的归档、压缩和索引。数据检索模块负责从数据提取时序数据,并支持多维度的数据查询操作。 本发明的关键在于提出了一种优化存储系统性能的数据归档方案。在高并发情况下,将时序数据按照特定的规则进行归档,能够降低数据的访问延迟和提高存储吞吐量。另外,通过对时序数据进行压缩和索引,能够进一步减少存储空间占用和提高检索效率。 创新点: 1. 本发明提出了一种高并发时序数据存储方案,能够解决传统存储方法在高并发情况下的性能瓶颈问题。 2. 引入了一种优化存储系统性能的数据归档方案,能够降低访问延迟和提高存储吞吐量。 3. 通过时序数据的压缩和索引,能够减少存储空间占用和提高检索效率。 应用前景: 本发明的高并发时序数据存储方案在大数据物联网应用具有广泛的应用前景。例如,在工业生产监测、交通运输管理和环境监测等领域,大规模时序数据的采集、存储和分析需求日益增长,本发明能够提供高效、可靠的时序数据存储解决方案。 结论: 本发明提出了一种高并发时序数据存储的专利申请,通过优化存储系统的性能和效率,能够实现在高并发情况下高效地存储和检索时序数据。本发明的应用前景广阔,有望在大数据物联网领域发挥重要作用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CnosDB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值