大数据的数据接入和数据服务技术的研究

 

摘要: 随着大数据技术的广泛使用，数据源类型的多样性正在不断被显现，同时数据应用场景的多样性也正在不断显现出来。数据接入技术正是对数据源接入采集需求所催生出来的技术；同样数据服务也是为数据应用提供有效的数据接口所衍生出来的技术。但是，本质上，无论是数据接入还是数据服务，都是协议接口，遵循一定的模式。我们需要详细分析这些多样性的场景，以及技术的本质模式，来提供更加成熟高效的方案以满足这些场景。

关键词: 大数据，数据源，数据应用，数据接入，数据服务，接口协议

[中图分类号] TP3-0  [文献标识码] A  [文档编号]

 

Abstract: With the widespread use of big data technologies, the diversity of data source types is constantly being revealed, and the diversity of data application scenarios is constantly emerging. Data access technology is the technology that is generated by the data source access collection requirements; Alike, data service technology is also a technology derived from providing an effective data interface for data applications. However, in essence, both data access technology and data services technology are protocol interfaces that follow a certain pattern. We need to analyze these diverse scenarios in detail, as well as the essential patterns of technologies, to provide more mature and efficient solutions to meet these scenarios.

Key words: big data, data source, data application, data access, data service, Interface Protocol

 

 

 

在大数据体系中，数据的流向是从数据源通过数据接入技术装载到数据平台，进行一系列的处理操作，最终通过数据服务技术提供给数据应用。这一条看似简单的路径流程，却有着纷繁复杂的应用场景，是各种各样的操作方式相结合而成的最终的一套流程。那么，数据源、数据接入动作、数据服务动作、数据应用的分析研究，就显得尤为重要。

1. 数据源

数据源，广义地说，是指提供数据的一方，即源端。相对数据接入这个过程，数据平台就是目标端。数据源可以根据以下几种方式进行分类。

1.1 根据传输的协议类型分

协议类型很多，在这里只列出通用的几种大的类型。

·数据库接入的源。包括关系型数据库、非关系型数据库nosql、图数据库、时序数据库等等。

·数据流接入的源。包括http/https、THrift，WebService、tcp、udp等。

·数据流接收的源。包括Oracle的DCN、Kafka、activemq、rabbitmq等订阅方式。

·文件接入的源。包括FTP、SFTP等。

·文件上传的源。包括http object、p2p、excel、xml、json、properties等。很多配置文件需要通过这种方式。

·人工录入的源。约定俗成的码值或者配置信息需要通过这种方式。

1.2 根据数据的组织