canal mysql 集群_MySQL binlog解析canal + kafka实践|ZooKeeper集群部署

这是针对canal kafka quickstart的实践：https://github.com/alibaba/canal/wiki/Canal-Kafka-QuickStart

系统环境

系统：CentOS Linux release 7.3.1611 (Core)  3.10.0-514.el7.x86_64

JDK：jdk-8u161-linux-x64.tar.gz

zookeeper：zookeeper-3.4.13.tar.gz

kafka：kafka_2.11-2.0.0.tgz

canal.kafka：canal.kafka-1.1.0.tar.gz

MySQL：5.7.22-log

部署java环境

jdk安装目录：/opt/java_maven_env/jdk1.8.0_161

在/etc/profile中末尾添加以下内容

JAVA_HOME=/opt/java_maven_env/jdk1.8.0_161

JRE_HOME=/opt/java_maven_env/jdk1.8.0_161/jre

CLASS_PATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

然后执行source命令，使配置生效

source /etc/profile

验证

java -version

java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 1.8.0_161-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

部署zookeeper

官网：http://zookeeper.apache.org/

下载：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

yum install wget

cd /opt

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

tar zxf zookeeper-3.4.13.tar.gz

chown -R root:root zookeeper-3.4.13

cd zookeeper-3.4.13

#添加环境变量 编辑/etc/profile文件 在末尾添加

# ZooKeeper Env

export ZOOKEEPER_HOME=/opt/zookeeper-3.4.13

export PATH=$PATH:$ZOOKEEPER_HOME/bin

然后执行source命令，使配置生效

source /etc/profile

编辑配置文件

cp $ZOOKEEPER_HOME/conf/zoo_sample.cfg $ZOOKEEPER_HOME/conf/zoo.cfg

#创建数据目录和日志目录

mkdir -p /opt/zookeeper-3.4.13/data

mkdir -p /opt/zookeeper-3.4.13/logs

##单