IoT设备数据的存储、解析和价值挖掘实践——实践类

业务背景

随着物联网技术的快速发展成熟，物联网设备从一开始的传感器类感知设备向智能化设备升级，传统企业也开始将自身设备产生的数据作为企业的重要资产进行管理，如何稳妥的存储和备份这些设备数据资产，并在关键问题出现时进行回溯，以及通过对这些设备数据的深度分析来帮助企业实现经营提效变的尤为关键。

本实践以一个道路交通场景下设备运营管理的真实需求为背景来介绍如何使用物联网平台的数据服务完成对设备数据的存储、备份、预处理和深度分析，以达到企业经营提效的效果。

业务问题

设备数据量大，存储成本过高

当企业的设备规模达到十万甚至百万以上时，设备实时产生的数据量会非常大，如果企业有对数据长周期存储和追溯的需求，产生的数据存储成本会非常高，同时设备数据量大了以后也会对数据读写的性能和稳定性造成影响，带来额外的资源和运维成本。

设备种类繁多，数据格式不统一

道路交通场景下的设备种类丰富多样，如一体化锥桶、一体化快速封路器、收费站主动预警灯、车载预警LED屏等，不同类型的设备可能是由不同的生产商提供或者由不同的技术团队开发的，设备上报的数据格式千差万别难以统一，存储也无法实现标准化、结构化的存储，为企业后续的数据处理、分析和治理带来了很大的困扰。

缺少数据分析，价值难以挖掘

企业将设备数据采集上来以后，缺少专业的分析工具，无法对设备数据进行多维度的聚合分析，隐藏在数据中的业务价值也就难以挖掘，导致设备数据上云反而徒增了成本，没有起到经营提效的效果，也没有真正实现企业进行设备智能化升级的业务目标。

最佳实践

数据存储/备份 - 实现设备数据冷热分离，大幅降低存储成本

阿里云物联网平台提供了设备数据存储和备份的完整解决方案，减少了数据流转和中间存储带来的额外成本开销和架构复杂度。同时基于阿里云强大成熟的云计算底座，支持可扩展的海量数据存储、超高的数据压缩比和冷热数据存储分离等能力，可极大降低数据存储和备份的成本。

操作步骤概要

1. 进入物联网平台控制台，开通企业版实例，和数据服务相关的是如下4个规格。

控制台地址：https://iot.console.aliyun.com

开通完成后，点击企业版实例卡片进入实例详情页，再点击数据服务进入数据相关的功能页。

2.进入数据服务-数据存储的热数据存储功能页，实时保存设备上报的时序数据。

• 创建热数据存储规则

• 配置数据源Topic（支持通配）

• 配置自定义存储脚本

• 启动热数据存储规则

• 3.进入数据服务-数据接入功能页，开启产品级别的冷数据备份，低成本长周期保存设备数据。

• 配置产品备份（会备份产品下所有设备的数据）

• 4.进入数据服务-数据存储的冷数据存储功能页，查看产品备份任务状态。

• 查看产品备份状态

相关产品文档

如您想要了解更细节的产品功能使用指南，可以访问物联网平台的官网产品文档。

• 热数据存储：热数据存储概述_物联网平台-阿里云帮助中心
• 冷数据备份：备份设备数据源_物联网平台-阿里云帮助中心
• 冷数据配置：冷数据存储概述_物联网平台-阿里云帮助中心

数据解析 - 实现不同类型设备异构数据的统一化和预处理

IoT设备数据比起IT数据有如下三个特点：第一个特点是IoT数据是时序的，通常是基于时间范围分析，而且随着时间流逝数据价值衰减更明显，特别是监控场景下，对数据处理的实时性要求高；第二个特点是数据质量不稳定，设备上报的数据可能会受所处网络或者复杂工况影响，与典型的互联网数据对比往往需要进行数据预处理，比如插值计算和降采样等；第三个特点是碎片化比较严重，不同类型的设备或者同一类型不同生产商的设备在数据格式的定义上都完成不一样，给后续的数据处理带来了很大的麻烦。

阿里云物联网平台针对以上IoT数据的特点，提供了组件式的数据解析服务，包括可自定义解析脚本的数据格式转换，以及窗口聚合、超时插值、相邻消息计算、函数转化等内置算子，助力客户快速完成对设备数据的预处理。

操作步骤概要

• 1.进入数据服务-数据解析功能页，创建数据解析任务。

• 2.点击查看进入任务编辑画布，配置数据源节点，选择设备上报数据的Topic（支持通配）。

• 3.编写自定义解析脚本（源节点需要将数据格式选择为原始数据），对设备数据进行处理。

除了可在自定义节点编写数据解析脚本外，也可以在数据源节点配置其他类型数据格式的转换，如下图所示。

• 4。配置数据目标节点，将解析后的数据写入自定义存储表（解析后的数据字段需要和自定义存储表中的一致）。

• 5.配置完成后，将数据解析任务启动并发布上线。

相关产品文档

如您想要了解更细节的产品功能使用指南，可以访问物联网平台的官网产品文档。

数据解析：数据解析概述_物联网平台-阿里云帮助中心

分析洞察 - 实现设备数据的实时和离线分析，深度挖掘业务价值

设备数据经过数据解析并输出到自定义存储表后，可以使用SQL开发工作台来分析这些数据，比如设备新增/活跃分析、设备工况和经营统计等，深度挖掘设备数据的业务价值。

分析洞察的结果配置为自定义服务API后，可以被客户的业务系统集成调用，客户只需专注于业务开发，无需关注设备数据的存储、备份、分析和API开放等技术细节，大大加快了业务应用的开发。

操作步骤概要

• 1.进入数据服务-分析洞察功能页，创建SQL分析任务，再点击进入SQL开发工作台。

• 2.在SQL开发工作台编写SQL语句，对自定义存储表中的设备数据进行深度分析。

• 3.将分析后的数据存入另一张自定义存储表。

• 4.进入数据服务-数据应用功能页，创建自定义服务API，客户业务系统可通过SDK查询分析结果。

数据API地址：InvokeDataAPIService调用该接口调用数据算法服务API,获取SQL查询结果_物联网平台-阿里云帮助中心

SDK下载地址：云端SDK参考(升级版)下载及使用_物联网平台-阿里云帮助中心

相关产品文档

如您想要了解更细节的产品功能使用指南，可以访问物联网平台的官网产品文档。

• 分析洞察：SQL分析概述_物联网平台-阿里云帮助中心
• 自定义服务API：如何创建自定义服务API_物联网平台-阿里云帮助中心​​​​​​

物联网平台产品介绍详情：https://www.aliyun.com/product/iot/iot_instc_public_cn
 

阿里云物联网平台客户交流群