什么是时序数据？如何治理？

来源：数据工匠俱乐部    作者：蔡春久

前言

时序数据治理是数据治理领域核心、打通IT与OT域数据链路，是工业物联网基石、大数据价值创造的关键、企业管理提升的发动机、是数字化转型的重要支撑。

工业企业在生产经营过程中，会运用物联网技术，采集大量的数据并进行实时处理，这些数据都是时序的，而且具有显著的特点，比如带有时间戳、结构化、没有更新、数据源唯一等。

时序数据处理应用于智慧城市、物联网、车联网、工业互联网领域的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。

本文主要讲解时序数据的定义、典型特点、时序数据的应用场景、数采难点及时序数据工具等内容。

一 时序数据的定义及作用

时序数据是指时间序列数据。是按时间顺序记录的数据列，在同一数据列中的各个数据必须是同口径的，要求具有可比性。时序数据可以是时期数，也可以时点数。

时序数据管理主要通过对时序数据的采集、处理和分析帮助企业实时监控企业的生产与经营过程。

时序数据在应用上特点也很明显，比如数据往往只保留一定时长，需要做降频采样、插值、实时计算、聚合等操作，关心的是一段时间的趋势，而不是某一特定时间的值等。

工业企业为了监测设备、生产线以及整个系统的运行状态，在各个关键点都配有传感器、采集各种数据。这些数据是周期或准周期产生的，有的采集频率高，有的采集频率低，这些采集的数据一般会发送至服务器，进行汇总并实时处理，对系统的运行做出实时监测或预警。

时序数据常常被长期保存下来，用以做离线数据分析，例如在工业企业应用场景如下：

1）分析故障，看主要的设备故障是什么；

2）分析产能，看如何优化配置来提升生产效率；

3）分析能耗，看如何降低生产成本；

4）分析潜在的安全隐患，以降低故障时长。

 

《数据治理：工业企业数字化转型之道》数据治理体系车轮图

二 时序数据的十二大典型特点

与各种信息管理系统的数据相比，工业领域的时序数据具有鲜明的特点。

（1）数据是时序的，一定带有时间戳：联网的设备按照设定的周期，或受外部事件的触发，源源不断地产生数据，每个数据点是在哪个时间点产生的，这个时间对于数据的计算和分析十分重要，必须要记录。

（2）数据是结构化的：网络爬虫的数据、微博、微信的海量数据都是非结构化的，可以是文字、图片、视频等。但物联网设备产生的数据往往是结构化的，而且是数值型的，比如智能电表采集的电流、电压就可以用4字节的标准的浮点数来表示。

（3）数据极少有更新操作：联网设备产生的数据是机器日志数据，一般不容许而且也没有修改的必要。很少有场景，需要对采集的原始数据进行修改。但对于一个典型的信息化或互联网应用，记录是一定可以修改或删除的。

（4）数据源是唯一的：一个物联网设备采集的数据与另外一个设备采集的数据是完全独立的。一台设备的数据一定是这台设备产生的，不可能是人工或其他设备产生的，也就是说一台设备的数据只有一个生产者，数据源是唯一的。

（5）相对互联网应用，写多读少：对于互联网应用，一条数据记录，往往是一次写，很多次读。比如一条微博或一篇微信公众号文章，一次写，但有可能会有上百万人读。但物联网设备产生的数据不一样，对于产生的数据，一般是计算、分析程序自动读，而且计算、分析次数不多，只有分析事故等场景，人才会主动看原始数据。

（6）用户关注的是一段时间的趋势：对于一条银行记录，或者一条微博、微信，对于它的用户而言，每一条都很重要。但对于物联网数据，每个数据点与数据点的变化并不大，一般是渐变的，大家关心的更多是一段时间，比如过去5分钟，过去1小时数据变化的趋势，一般对某一特定时间点的数据值并不关注。

（7）数据是有保留期限的：采集的数据一般都有基于时长的保留策略，比如仅仅保留一天、一周、一个月、一年甚至更长时间，为节省存储空间，系统最好能自动删除。

（8）数据的查询分析往往是基于时间段和某一组设备的：对于物联网数据，在做计算和分析时，一定是指定时间范围的，不会只针对一个时间点或者整个历史进行。而且往往需要根据分析的维度，对物联网设备的一个子集采集的数据进行分析，比如某个地理区域的设备，某个型号、某个批次的设备，某个厂商的设备。等等。

（9）除存储查询外，往往需要实时分析计算操作：对于大部分互联网大数据应用，更多的是离线分析，即使有实时分析，但实时分析的要求并不高。比如用户画像，可以在积累一定的用户行为数据后进行。但是对于物联网应用，对数据的实时计算要求往往很高，因为需要根据计算结果进行实时报警，以避免事故的发生。

（10）流量平稳、可预测：给定物联网数量、数据采集频次，就可以较为准确地估算出所需要的带宽和流量、每天新生成的数据大小。

（11）数据处理的特殊性：与典型的互联网相比，还有不一样的数据处理需求。比如要检查某个具体时间的设备采集的某个量，但传感器实际采集的时间不是这个时间点，这时往往需要做插值处理。还有很多场景需要基于采集量进行复杂的数学函数计算。

（12）数据量巨大：以智能电表为例，一台智能电表每隔15分钟采集一次数据，每天自动生成96条记录，全国就有接近5亿台智能电表，每天生成近500亿条记录。一台联网的汽车每隔10到15秒就采集一次数据发送到云端，一台汽车一天就很容易产生1000条记录。如果中国2亿辆车全部联网，那么每天将产生2000亿条记录。5年之内，物联网设备产生的数据将占世界数据总量的90%以上。

三 通用大数据处理工具在时序数据场景的三大挑战

从工具维度看，时序数据处理工具与传统时序数据库的差异很大。后者局限于车间级的可编程逻辑控制器，而非企业级。企业级的时序数据处理，首先是基于数据架构和数据模型的。

数据架构决定哪些时序数据需要采集，如何处理，用于哪些业务场景，用于时序数据采集的规划与设计开发；数据模型用于解析时序数据的数据结构。

在物联网、车联网、工业互联网兴起之后，大家都想用通用的大数据平台来处理其中的数据。现在市场上流行的物联网、车联网等大数据平台几乎无一例外都是这类架构，但这套通用处理工具的效果如何？可以说有很多不足，主要表现在以下几个方面：

数字化工厂产生的时序数据量是巨大的，处理它有相当的技术挑战。以数控机床加工生产为例，由于工业行业的要求，需要将包括报警在内的各种工况数据存储起来。假设企业每个厂区具有2000个监测点，5秒一个采集周期，全国一共200个厂区。这样粗略估算起来每年将产生惊人的几十万亿个数据点。假设每个点0.5KB，数据总量将达PB级别（如果每台服务器的硬盘容量是10TB，那么总共需要100多台服务器）。这些数据不仅要实时生成，写入存储，还要支持快速查询，实现可视化的展示，帮助管理者分析决策；并且也能够用来做大数据分析，发现深层次的问题，帮助企业节能减排，增加效益。这样看来，需要解决的关键技术问题如下。

通用大数据处理工具在时序数据场景的挑战

传统的数据采集体系面临着数据质量差、查询速度慢、缺少实时智能分析等问题。

（1）高并发、高吞吐量的写入能力：如何支持每秒钟上千万数据点的写入，这是最关键的技术能力。

（2）数据高速聚合：如何支持以秒级的速度对上亿数据进行分组聚合运算，如何能高效地在大数据量的基础上将满足条件的原始数据查询出来并聚合，要知道统计的原始值可能因为时间比较久远而不在内存中，因此这可能是一个非常耗时的操作。

（3）降低存储成本：如何降低海量数据存储的成本，这需要时序数据库提供高压缩率。

（4）多维度的查询能力：时序数据通常会有多个维度的标签来刻画一条数据，如何根据几个维度进行高效查询就是必须要解决的一个问题。