大数据常用工具集

1.大数据处理工具Hadoop

       Hadoop的框架最核心的设计就是：HDFS和MapReduce，HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

2.日志采集传输Flume

     Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

     为了解决数据同步速度问题，这里一般采用kafka作为中间消息队列。先同步到kafka，然后根据消费端消费速度自主进行数据消费。

3.全量数据同步工具DataX

    DataX 本身作为数据同步框架，采用Frame,plugin模式，即框架，插件模式，可以通过添加不同的插件，实现不同异构数据源的数据同步工作。

4.增量数据同步工具Maxwell

     Maxwell 的工作原理就是把自己伪装成 MySQL 的一个 slave，然后以 slave的身份假装从 MySQL(master)复制数据。然后同步到相应的大数据平台。