数据中台为什么要汇聚数据？_光点科技

数据中台是当下大数据领域最前沿的数据建设体系, 它并不是从零开始, 无中生有的，数据中台是传统的数据仓库的一种升级, 是数据采集、建设、管理与使用的一整套体系。

数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。

 一、数据汇聚的概念

数据汇聚就是按照确定的数据分析框架，收集相关数据的过程，它为数据分析提供了素材和依据。

在汇聚数据的时候，通常把数据类型分为一手数据和二手数据这两个类型。其中一手数据主要是指可以通过抽取的方式获得的数据，二手数据主要是指需要通过一定的方式对原始数据进行加工处理最后得到的可以进行使用的数据。

二、数据汇聚的方式

将不同的业务系统的数据加载到数据仓库中。数据汇聚有多种方式，按照数据汇聚的传输方式，可以分为文件传输、数据抽取、内容爬虫等方式。

1.文件传输：文件传输包含系统日志与文件的传输。其中文件方式需要业务系统定时进行数据抽取，需要业务系统改造。很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志、文件数据采集和传输需求。

2.数据抽取：数据抽取也就是利用接口进行数据抽取。它不需要业务系统改造，适用场景多，主要针对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特点系统接口等相关方式采集数据。

3.内容爬虫：内容爬虫也就是网络数据采集它主要针对无法访问数据库，只能访问网页或者API的等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或者DFI等带宽管理技术进行处理。

三、数据汇聚的作用

随着大数据越来越被重视，数据汇聚的重要性也变的尤为突出，现如今数据汇聚面临几大难点，数据来源多种多样，数据量大，数据变化快。但数据汇聚平台可服务于数据治理，并且解决数据汇聚难、监控难等问题。

数据汇聚不仅仅是数据采集，它更重要的是构建数据汇聚任务的配置、管理、监控、调度等服务。

四、数据汇聚的意义

• 将整个数据中台流程比作商品的加工流程，那么对应关系：
• 原材料收集——数据汇聚 （业务系统->ODS层）
• 材料清洗——清洗整合（ODS层->DWD层）
• 商品加工——数据融合（DW、DM层）
• 商品出售——数据输出（API服务、数据交换）

数据汇聚在数据中台中是首要关键的第一步，也是计算机与外部物理世界连接的桥梁。

关于光点科技

光点科技是一家在政企数据治理、数据中台建设、数据可视化展示分析方面有着丰富经验的公司。作为国内专业的数据智能解决方案专家，光点科技自成立以来就一直专注于数据产品的研发和落地，服务的客户涉及智慧城市、园区、政府、集团企业、金融、制造、能源、电信、工程、教育、检验检测等多个行业。