canal数据同步

一、数据库配置：

 sudo cat ›› /etc/my. cnf <<- 'EOF* 
 server-id-1 
 log-bin=mysql-bin 
 binlog_format-row 
 binlog-do-db=world  #指定监听数据库
 EOF

二、修改example/instance.properties文件

1、调整serverId

serverId canal.instance.mysql.slaveId=10

2、数据库地址

canal.instance.master.address=192.168.31.230:3306

3、关闭tsdb，这个是时序数据库的

canal.instance.tsdb. enable=false

4、数据库账号密码

canal.instance.dbUsername=canal canal.instance.dbPassword=canal

三、需要修改的adapter配置

1、修改conf/application.properties

  srcDataSources:
    defaultDS:
      url: jdbc:mysql://localhost:3306/dbname?useUnicode=true
      username: root
      password: root
  canalAdapters:
  - instance: example3 # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: es7
        hosts: http://ipport  mode
        properties:
          mode: rest # or rest      
          security.auth: username:password 
          cluster.name: elasticsearch

2、在conf/es7/新建并编辑对应的同步数据库文件

3、关闭adapter的同步日志

修改conf/logback.xml中的DEBUG改为WARN，提高日志等级

四、ES批量同步

curl localhost:8081/etl/es7/overseasDataOrgan.yml -X POST -d "params=param1;param2"