大数据之路----3.数据同步

数据来源

关系型数据库的结构化数据：MySQL、Oracle、DB2、SQL Server
非关系型数据库的非结构化数据：OceanBase、HBase、MongoDB、来源于文件系统的结构化或非结构化数据（通常以文件形式存储）

数据同步

直连同步

通过定义好的规范接口API和**基于动态链接库的方式（ODBC/JDBC等）**连接业务库。直连同步示意图如下图所示：

优点：配置简单，实现容易。适合操作性业务系统的数据同步。
缺点：对源系统的性能影响较大，当数据量较大时，不适合从业务系统到数据仓库系统的同步。

数据文件同步

通过设定好的文件编码、大小、格式等，直接从源系统生成数据的文本文件，由文件服务器传输到目标系统并加载到目标数据库系统中。数据文件同步示意图如下所示：

应用场景：当数据源包含多个异构的数据库系统（如MySQL、Oracle、SQL Server等）
优点：简单实用。互联网的日志类数据通常以文本形式存储，适合使用数据文件同步方式。

数据库日志解析同步

数据文件被传输到目标系统后，可通过数据加载模块完成数据的导入，从而实现数据从源系统到目标系统的同步。

优点：
1.日志文件信息