【实践案例】Databricks数据洞察在美的暖通与楼宇的应用实践

作者

美的暖通与楼宇事业部 先行研究中心智能技术部

美的暖通 IoT 数据平台建设背景

美的暖通与楼宇事业部（以下简称美的暖通）是美的集团旗下五大板块之一，产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案，远销海内外200多个国家。当前事业部设备数据上云仅停留在数据存储层面，缺乏挖掘数据价值的平台，造成大量数据荒废，并且不断消耗存储资源，增加存储费用和维护成本。另一方面，现有数据驱动应用缺乏部署平台，难以产生实际价值。因此，急需统一通用的 IoT 数据平台，以支持设备运行数据的快速分析和建模。

 

我们的 IoT 数据平台建设基于阿里云 Databricks 数据洞察全托管 Spark 产品，以下是整体业务架构图。在本文后面的章节，我们将就IoT数据平台建设技术选型上的一些思考，以及 Spark 技术栈尤其是 Delta Lake 场景的应用实践做一下分享。

选择 Spark & Delta Lake

在数据平台计算引擎层技术选型上，由于我们数据团队刚刚成立，前期的架构选型我们做了很多的调研，综合各个方面考虑，希望选择一个成熟且统一的平台：既能够支持数据处理、数据分析场景，也能够很好地支撑数据科学场景。加上团队成员对 Python 及 Spark 的经验丰富，所以，从一开始就将目标锁定到了 Spark 技术栈。

选择 Databricks 数据洞察 Delta Lake

通过与阿里云计算平台团队进行多方面的技术交流以及实际的概念验证，我们最终选择了阿里云 Databricks 数据洞察产品。作为 Spark 引擎的母公司，其商业版 Spark 引擎，全托管 Spark 技术栈，统一的数据工程和数据科学等，都是我们决定选择 Databricks 数据洞察的重要原因。

 

具体来看，Databricks 数据洞察提供的核心优势如下：

• Saas 全托管 Spark：免运维，无需关注底层资源情况，降低运维成本，聚焦分析业务

• 完整 Spark 技术栈集成：一站式集成 Spark 引擎和 Delta Lake 数据湖，100%兼容开源 Spark 社区版；Databricks 做商业支持，最快体验 Spark 最新版本特性

• 总成本降低：商业版本 Spark 及 Delta Lake 性能优势显著；同时基于计算存储分离架构，存储依托阿里云 OSS 对象存储，借助阿里云 JindoFS 缓存层加速；能够有效降低集群总体使用成本

• 高品质支持以及SLA保障：阿里云和 Databricks 提供覆盖 Spark 全栈的技术支持；提供商业化 SLA 保障与7*24小时 Databricks 专家支持服务

IoT 数据平台整体架构