WHAT - 数据产品形态之完整数据链路介绍

数据链路

一个完整的数据平台涵盖了从数据采集到数据消费的整个链路。以下是完整的数据链路的主要阶段，每个阶段的核心活动和技术：

1. 数据采集

• 活动：获取和捕捉来自各种来源的数据。数据采集是数据平台的起点，数据采集的目的是从各种数据源中获取数据，确保数据在后续处理和分析阶段具有完整性和准确性。
• 技术：
  • 传感器和设备：用于实时数据采集（如物联网设备）。
  • 日志记录：应用程序和服务器日志。
  • Web抓取：从网页抓取数据。
  • API接口：从第三方服务获取数据。
  • 数据输入：用户手动输入的数据（如表单）。

1.1 传感器和设备

活动：利用传感器和设备从物理世界中实时获取数据。这些数据通常用于监控环境、设备状态或用户行为。

应用示例：

• 物联网设备（IoT）：如智能家居设备、工业传感器。这些设备可以监测温度、湿度、位置、速度等参数。
• 智能设备：如智能手表、健康追踪器。这些设备监测用户的心率、步数、睡眠模式等。

技术：

• 传感器：用于收集温度、湿度、光强、气体浓度等数据。
• 数据采集器：将传感器数据传输到中央系统，可能通过有线或无线方式（如Wi-Fi、蓝牙）。

1.2 日志记录

活动：记录应用程序和服务器的活动数据。日志记录是了解系统运行状况、排查故障和进行安全审计的重要手段。

应用示例：

• 应用程序日志：记录应用程序的运行状态、错误信息、用户操作等。
• 服务器日志：记录服务器的访问记录、系统性能、网络流量等。

技术：

• 日志管理工具：如ELK Stack（Elasticsearch、Logstash、Kibana）、Splunk，用于集中管理和分析日志数据。
• 日志格式：通常使用JSON、XML、CSV等格式存储日志数据。

1.3 Web抓取

活动：从网页上提取信息，通常用于获取不提供API的数据或从多个网站汇集数据。

应用示例：

• 价格监控：抓取电商网站的商品价格信息。
• 新闻聚合：从新闻网站抓取最新的新闻标题和内容。

技术：

• Web抓取工具：如BeautifulSoup、Scrapy、Selenium，用于自动化抓取网页数据。
• 解析器：处理HTML或XML文档，提取需要的数据。

1.4 API接口

活动：通过应用程序编程接口（API）从第三方服务或系统获取数据。API接口通常用于集成不同的应用或获取实时数据。

应用示例：

• 社交媒体数据：通过Twitter API、Facebook Graph API获取社交媒体上的用户行为和互动数据。
• 天气数据：通过天气服务API获取实时天气信息。

技术：

• RESTful API：使用HTTP协议，通过URL、请求方法（GET、POST、PUT、DELETE）进行数据交互。
• SOAP API：使用XML进行数据交换，适用于更复杂的服务请求。
• API客户端库：如Axios、Requests（Python）用于简化API调用和数据处理。

1.5 数据输入

活动：通过用户手动输入的数据进行采集，通常通过表单、调查问卷等方式获取用户提供的信息。

应用示例：

• 在线表单：用户填写注册信息、反馈表单、调查问卷等。
• 输入设备：如扫描仪、条形码读取器，用于从纸质文件或物品上获取数据。

技术：

• 表单生成工具：如Google Forms、Typeform，用于创建和管理在线表单。
• 数据验证：确保用户输入的数据格式正确，并进行数据清洗（如去除空白、校验数据有效性）。

2. 数据传输

• 活动：将数据从采集点传输到数据存储或处理系统。
• 技术：
  • 消息队列：如Kafka、RabbitMQ，用于处理和传输实时数据流。
  • 数据管道：如Apache NiFi，用于数据流的调度和管理。
  • ETL工具：如Apache Airflow，用于数据抽取、转换和加载。

2.1 消息队列

消息队列技术用于在分布式系统中异步传递消息或数据。它们确保数据在生产者和消费者之间的可靠传输，特别适用于处理实时数据流和大规模的并发请求。

技术示例：

• Apache Kafka：https://kafka.apache.org/

  • 用途：用于高吞吐量的实时数据流处理和传输，广泛应用于日志收集、数据流处理和实时分析。
  • 特性：支持分布式和高可用性，能够处理大量的消息流，具有持久化机制。<