5G时代下，如何应对物联网大数据分析的严峻挑战

人类每天产生的数据量确实令人震惊。这些数据的爆发式增长是由企业和消费者每天使用的所有连接设备生成的。到2020年，预计将有近307.7亿个物联网连接设备。

物联网设备生成的数据仅在分析时才有用。由于这种数据是高度非结构化的，使用传统的商业智能（BI）工具和分析软件对其进行分析几乎是不可能的，因为这些工具是为分析结构化数据而设计的。

企业通常将此类数据放在数据湖中，例如Amazon S3，Azure Data Lake Storage或Hadoop。这意味着分析人员需要找到一个新的位置来整合这些数据集，然后才能查询它们。因此，许多分析师将闲置这些物联网数据，令它在数据湖中沦为不良资产。为了真正能充分利用这些物联网数据，企业需要弄清楚如何从数据湖和分析工具中获取这些数据。

使用低成本对象库

幸运的是，对象存储可以通过提供大规模可扩展、经济高效的存储来帮助企业打破数据孤岛，以原始格式收集任何类型的数据。按常理说，这对物联网相关的大量数据尤为重要。但有一个问题：对象存储不与计算能力相结合，为解决这个问题，企业需要一个数据湖引擎来分析数据。使用正确的数据湖引擎大大简化了任务。理想情况下，需要能够直接在数据湖上执行分析内容，减少了提取、转换、加载以及数据仓库的需求，并取代了对多维数据集和数据提取的需求。即使企业使用的是本地数据湖，但仍然存在上述的情况。

企业还需要支持交互式分析和标准SQL的工具。作为数据使用者，往往需要具备以下功能的分析工具：临时查询、低延迟、高并发性、工作负载管理、BI工具集成等，以及能够使用SQL从任何数据源使用任何数据。对于大多数企业而言，SQL是已知最流行的数据访问语言。

不需要被供应商锁定的自助数据平台

自助服务和协作是数据使用者独立的关键因素。自助服务平台应该允许任何分析师在一个地方访问所有需要的数据，无论存储数据的位置和方式如何。

该平台应实现用于自助数据访问的统一数据层，用户可以从许多不同类型的存储库中检索各种物理数据集，例如，以任意格式存放在任何位置的物联网数据、大数据和客户数据。如果企业有数据存储在数据仓库、数据湖、NoSQL存储库中或者文件系统，数据平台应该能够获取它并使用户可以通过他们喜欢的工具（如Tableau和Python）轻松访问。这创建了一个可以访问的极其广泛的数据格局。

基于Apache Arrow的内存列存储的引擎能达到最高效率， 包括查询速度，内存和计算资源利用。许多不同的引擎可以访问一个内存中表示的数据。这种共享避免了序列化。因为序列化会降低内存数据存储的速度。

还要寻找以开放格式（如Parquet）存储元数据和缓存数据的解决方案。如果使用复制数据到其他服务的解决方案（如将数据清洗到数据仓库）或者采用专有数据格式，会导致高昂的费用，并且由于许多这类服务需要计算费用。 因此，传统的方案，需要高成本才能从数据中获得洞察力。

基于开源的基础架构为企业带来了几项关键优势，包括：更高的安全性、更彻底的审查代码、避免被供应商锁定、开源社区带来的更快开发迭代速度。

物联网安全至关重要

物联网数据和云服务存在许多安全挑战。数据泄露的数量，规模和影响都在增长。根据IBM的一项研究，数据泄露的成本在过去五年中增长了12％，现在平均成本为392万美元。由于数字和物理世界之间的连接越来越紧密，以及物联网和人工智能技术部署的加速，网络攻击的途径还有很多。

另一个问题是从传感器到云通常存在不安全的数据传输。请记住，IoT技术栈的传输层只有两个标准化协议：TCP和用户数据报协议。这些协议可以通过各种方法进行攻击。此外，分析系统通常将敏感数据从企业的许多不同区域汇集在一起​​，这也是网络犯罪的自然目标。

有效的安全防范需要领先于威胁发生。为确保企业的物联网安全性是可靠且最新的，企业的平台需要基于角色的权限扩展安全选项，以及使用虚拟数据集限制屏蔽数据访问，让团队自助分析数据。

最后的想法

为了真正使IoT数据成为优质资产，企业需要寻找一个平台。该平台将为用户管理任何数据源，进行安全访问控制，而且无需创建数据副本。通过避免移动和复制数据，数据使用者可以使用他们喜欢的工具轻松发现和管理数据，而无需依靠IT来处理他们的数据请求。这类开源数据平台使业务分析师和数据科学家能够在数据分析过程中自给自足，因此公司可以更快地从物联网数据中获得更多价值。

原文出处

1. Tomer Shiran,How to make IoT data a performing asset,29 Aug 2019