大数据之路、阿里巴巴大数据实践读书笔记 --- 第三章、数据同步

一、数据采集

• 日志采集

• 数据库同步

 

二、数据同步技术更通用的含义是不同系统之间的数据流转；

三、数据同步基础三种方式：

• 直连同步

• 数据文件同步

• 数据库日志解析同步

 

• 直连同步

• • 直连同步是指通过定义好的规范接口API和基于动态链接库的方式直接连接业务库，例如JDBC/ODBC，如下图：

 

 

优势：简单、实现容易、比较适合操作性业务数据；

弊端：对业务库性能影响较大，大批量执行时易拖垮业务系统；

可以适当的采取主备策略；

 

• 数据文件同步

• • 数据文件（约定好的格式、大小、编码等）

  • 日