大数据学习总结：常用同步组件

大数据学习总结：常用同步组件

学习大数据中的一些个人总结

maxwell

原理就是伪装成一个slave,订阅主库的binlog解析写入kafka、mq

canal

阿里的一个开源框架，简单方便

sqoop

hadoop生态中的一个组件，原理是将操作翻译为mapreduce程序进行执行。常用于将业务库数据全量导入到hdfs，会进行表扫描，短时间内对业务库的压力比较大，建议用从库进行数据抽取。

flume

开源的一个数据采集（同步）工具，常用在日志采集。
source->channel->sink
source:可监听ip、端口；文件、kafka等数据来源，
channel: 可以磁盘、内存、数据库、kafka作为底层数据存储方式
sink:hdfs、hive、Hbase、es、kafka、http、自定义sink等。

dataX(dataworks)

datax是阿里的一个开源框架用于离线同步、糅合了多种数据源，可以很方便的进行源与源之间的同步，个人感觉大问题没有，小问题不少，一些特性需求无法满足