iot采集的数据存大数据 物联网 工业互联网

现在的负责的系统中,其中一个叫EMS,其数据链路为:

传感器采集 --> 厂商的转发服务器 --> iot平台(其中有的厂商转发过来的数据需要处理,在iot前面会多加一个emq转发服务器)--> 大数据(大数据的定时任务将这些实时数据存数据库clickhouse)--> EMS(EMS的定时任务每10分钟对这些实时数据进行一次汇总计算,落表,mysql数据库)

大数据的这张单表,每天10亿-12亿条数据,大概50G。平均一条数据40-50个Byte。

而且是3个副本

目前已经存了3年的数据。5000亿条数据。

一般保存3个月就够了,也可以半年。

因为都是实时数据,计算完了落到mysql的表里其实也就没用了。少部分功能,像组态图、实时数据展示等,会要求当天的数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

globalcoding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值