现在的负责的系统中,其中一个叫EMS,其数据链路为:
传感器采集 --> 厂商的转发服务器 --> iot平台(其中有的厂商转发过来的数据需要处理,在iot前面会多加一个emq转发服务器)--> 大数据(大数据的定时任务将这些实时数据存数据库clickhouse)--> EMS(EMS的定时任务每10分钟对这些实时数据进行一次汇总计算,落表,mysql数据库)
大数据的这张单表,每天10亿-12亿条数据,大概50G。平均一条数据40-50个Byte。
而且是3个副本。
目前已经存了3年的数据。5000亿条数据。
一般保存3个月就够了,也可以半年。
因为都是实时数据,计算完了落到mysql的表里其实也就没用了。少部分功能,像组态图、实时数据展示等,会要求当天的数据。