2、数据工程：概念、实践与 Azure 工具应用

数据工程：概念、实践与 Azure 工具应用

1. 数据工程概述

随着数据收集量的不断增加，如今每秒产生的数据超过 30,000GB，且数据创建速度还在加快。数据工程应运而生，它是构建数据存储和处理系统的实践。其工作包括设计、构建和维护数据仓库，旨在创建可扩展的系统，让分析师和数据科学家能从数据中提取有意义的信息。

以网站流量报告为例，一个简单的用户请求页面操作，可能涉及 HTML 文件、CSS 文件和图像，这可能代表一个、三个或四个事件。若存在页面重定向、数据库查询时间记录、缓存缺失等情况，都会产生更多需记录的数据点。当用户交互增多，如带有多个滑块的比较页面，每次滑块移动都会记录一个值，跟踪用户鼠标移动会返回数百个坐标。一个采样率为 100Hz 的连接传感器，每天可轻松记录超过八百万次测量值。当事件规模扩大到数千甚至数万个同时发生时，数据管道的每个环节都需优化速度，直到数据稳定。

2. 数据工程师的职责

数据工程师负责构建能够处理高容量、高速度数据流的存储和处理系统。他们要规划数据的变化和规模，管理能通过数据回答问题从而为企业提供价值的系统。

多数企业有多个数据源产生数据。制造业企业会跟踪机器产出、员工表现和运输部门情况；软件公司会跟踪用户行为、每次发布的软件漏洞以及开发人员的每日产出；服务公司会检查销售电话数量、完成任务的时间、零件库存使用情况和每个潜在客户的成本。这些数据规模有大有小。

大型企业希望在各部门间找到效率提升点，或找出多方面系统故障的根本原因。为从这些不同数据源中提取价值，工程师会构建大规模存储系统作为单一数据仓库。例如，软件公司可能实施集中式错误日志记录，服务公司可能整合其 CRM、计费和财务系统。工程师需要