CDH6.0.1下的 flume1.8增量读取mysql数据到kafka的采坑经历

刚刚接触flume，打算把mysql的数据写入到kafka然后再做后期处理，我的kafka已经安装，没有安装的自行安装，然后开始使用flume，看了看flume的官网，用起来还是比较方便的，但是在使用过程中还是遇到了很多问题，这里一一列举一下，以往后续使用者少走弯路！

首先在网上查了查，读取mysql到kafka的话，有两种情况，一种是读取mysql的binlog日志，晚上一搜，貌似还要自己解析数据，做增量也不方便，还有一种方法是使用一个叫做 flume-ng-sql-source的jar包可以读取关系型数据库的数据到kafka，看官网！

https://github.com/mvalleavila/flume-ng-sql-source   那里有比较详细的介绍，我下载到了 jar包，

flume-ng-sql-source-1.4.4.jar ，地址如下：

https://pan.baidu.com/s/1dlWpLmt-pstoxmoUHeW9IA  提取码：thf7  

 

要读取mysql的话，还需要一个驱动包  mysql-connector-java-5.1.43-bin.jar 地址如下

https://pan.baidu.com/s/14O40gXY1r9iQmQb9