HDInsight-Hadoop实战（二）传感器数据分析

HDInsight-Hadoop实战（二）传感器数据分析

简介

现在很多个人和商业设备含有从物理世界中收集信息的传感器。例如，大多数电话拥有 GPS，健身设备可跟踪你走的步数，恒温控制器可监控建筑的温度。

在此教程中，你将了解如何将 HDInsight 用于处理暖气、通风和空气调节 (HVAC) 系统产生的历史数据，以识别不能有效维持设定温度的系统。你将了解如何：

• 优化和丰富来自多个国家/地区的建筑的温度数据
• 分析数据以确定哪些建筑在保持适宜温度方面存在问题（实际记录的温度对比恒温控制器设定的温度）
• 推断建筑中使用的 HVAC 系统的可靠性
• 在 Microsoft Excel 中可视化数据

先决条件

已使用群集配置你完成脚本和查询所需的所有内容。要将已分析的数据导出到 Microsoft Excel，你必须满足以下要求：

• 必须安装了 Microsoft Excel 2013。
• 你必须具有 Microsoft 配置单元 ODBC 驱动程序才能将数据从配置单元导入 Excel 中。基于 Microsoft     Excel 的版本选择 32 位或 64 位版本。

已加载到 Windows Azure 存储 Blob 的传感器数据

以下 URL 的文件包含 HVAC 系统设定的温度以及实际记录的温度。这些文件也包含建筑元数据，如位置和 HVAC 系统信息。我们已将此数据加载到此群集的 Windows Azure 存储 Blob。

可使用此页顶部的文件浏览器选项卡访问存储在 Windows Azure 存储 Blob 中的数据。此示例的数据可在 [default storage account]/[defaultcontainer]/HdiSamples/SensorSampleData 路径下找到。

 

来自世界 20栋大型建筑的传感器数据

wasb://yzphadoop01@yzpcloud.blob.core.chinacloudapi.cn/HdiSamples/SensorSampleData/hvac/

20 栋建筑的元数据

wasb://yzphadoop01@yzpcloud.blob.core.chinacloudapi.cn/HdiSamples/SensorSampleData/building/

正在创建配置单元表，以查询 WindowsAzure Blob 存储中的传感器数据

以下配置单元语句将创建外部表，允许配置单元查询存储在 Azure Blob 存储的数据。外部表以初始文件格式保留数据，同时允许配置单元针对文件内的数据执行查询。在这种情况下，数据作为逗号分隔值 (CSV) 存储在文件中。

以下配置单元语句通过描述文件内字段、文件间定界符（逗号）和 Azure Blob 存储中文件的位置创建了两个名为 hvac 和 building 的新表。由此，你可以创建针对自身数据的配置单元查询。

Create hvac table:

DROP TABLE IFEXISTS hvac;

 

--create the hvactable on comma-separated sensor data

CREATE EXTERNALTABLE hvac(date STRING, time STRING, targettemp BIGINT,

                                                actualtempBIGINT, system BIGINT, systemage BIGINT, buildingid BIGINT)

ROW FORMATDELIMITED FIELDS TERMINATED BY ','

STORED ASTEXTFILE LOCATION'wasb://yzphadoop01@yzpcloud.blob.core.chinacloudapi.cn/HdiSamples/SensorSampleData/hvac/';

Create building table:

DROP TABLE IF EXISTS building;

 

--create the building table on comma-separated building data