Centos7搭建Canal 1.1.4采集数据到Kafka

最新推荐文章于 2021-05-30 23:59:53 发布
最新推荐文章于 2021-05-30 23:59:53 发布
阅读量217 收藏
点赞数
分类专栏： Kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhhban/article/details/117134196
版权

1.安装JDK、Zookeeper、Kafka单机版

  • 安装准备

    # 切换为命令模式
systemctl set-default multi-user.target
reboot
# 配置域名映射
vim /etc/hosts
192.168.88.10 node1
# 关闭防火墙，并开机禁用
systemctl stop firewalld.service
systemctl disable firewalld.service

  • JDK的搭建

    # 卸载自带的JDK
rpm -qa | grep java | xargs rpm -e --nodeps
# 创建目录，并上传JDK到software指定目录
mkdir -p /export/server /export/software && cd /export/software
rz
# 解压并安装JDK
tar xf jdk-8u65-linux-x64.tar.gz -C ../server/ && cd /export/server/
vim /etc/profile
# 添加以下内容
# JAVA_HOME
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$JAVA_HOME/bin:$PATH
# 加载环境变量,并验证是否配置成功
source /etc/profile && java -version

  • Zookeeper的搭建

    # 上传Zookeeper到software目录，并解压
cd /export/software/ && rz
tar xf zookeeper-3.4.6.tar.gz -C ../server/
# 修改配置
cd /export/server/zookeeper-3.4.6/conf/
mv zoo_sample.cfg zoo.cfg
# 配置环境变量
vim /etc/profile
# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/export/server/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH
# 加载环境变量
source /etc/profile

  • Kafka的搭建

    # 上传Kafka到software目录，并解压
cd /export/software/ && rz
tar xf kafka_2.12-2.4.1.tgz -C ../server/
# 配置环境变量
vim /etc/profile
# KAFKA_HOME
export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
export PATH=$KAFKA_HOME/bin:$PATH
# 加载环境变量
source /etc/profile

  • 启动测试

    # 启动ZK和Kafka
zkServer.sh start
cd /export/server/kafka_2.12-2.4.1/
kafka-server-start.sh -daemon config/server.properties

2.本地安装MySQL

  • 下载官网yum源并安装MySQL

    wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
yum -y install mysql80-community-release-el7-3.noarch.rpm

  • 修改默认安装源为MySQL5.7，并下载启动

    # 使用下面命令，可以看到默认安装源为mysql80-community版本
yum repolist all | grep mysql
# 取消mysql80-community的默认安装
yum-config-manager --disable mysql80-community
# 设置mysql57-community成为yum默认安装版本
yum-config-manager --enable mysql57-community
# 执行安装
yum -y install mysql-community-server
# 安装完成后启动mysql服务
systemctl start mysqld
# 因为安装了yum repository所以会自动更新，所以卸载掉repo包
yum -y remove mysql80-community-release-el7-3.noarch

  • 登录MySQL

    # 查看mysql临时密码
grep "temporary password" /var/log/mysqld.log
# 登录MySQL
mysql -uroot -p
# 取消mysql密码规范限制
set global validate_password_policy=0;
set global validate_password_length=1;
# 重设密码为123456，并赋予访问权限
alter user 'root'@'localhost' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
exit

  • 开启MySQL的Binlog日志

    vim /etc/my.cnf
# 在[mysqld]下面，添加以下三行
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
# 修改my.cnf需要重启MySQL服务
systemctl restart mysqld

3.Docker安装MySQL

  • 安装MySQL

    # 拉取镜像
docker pull mysql:5.7
# 创建容器
docker run -di --name=mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

  • 开启MySQL的Binlog日志

    # 进入MySQL容器
docker exec -it mysql bash
# 安装vim命令
apt-get update
apt-get install -y vim
vim /etc/mysql/my.cnf
# 普通模式下输入以下内容保证可以右键粘贴
:set mouse-=a
# 到最后粘贴以下6行内容
[mysqld]
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
expire_logs_days=7 # binlog文件保存7天
max_binlog_size=500m # 每个binlog日志文件大小
# 重启容器
docker restart mysql

3.本机单机Canal安装

  • 授权canal链接 MySQL 账号具有作为 MySQL slave 的权限

    # 登录MySQL并授权canal账号权限
mysql -uroot -p123456
CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
exit

  • 安装Canal

    # 创建Canal目录，并上传解压
mkdir -p /export/server/canal
cd /export/software/ && rz
tar xf canal.deployer-1.1.4.tar.gz -C ../server/canal/
# 修改配置文件
cd /export/server/canal
vim conf/canal.properties
# 第25行和第116行
canal.serverMode = kafka
canal.mq.servers = node1:9092

# 修改实例
vim conf/example/instance.properties 
# 第9行
canal.instance.master.address=node1:3306
# 启动Canal
bin/startup.sh
# 报错日志查看
less logs/example/example.log

4.Docker单机Canal安装

  • 授权canal链接 MySQL 账号具有作为 MySQL slave 的权限

    # 登录MySQL并授权canal账号权限
mysql -uroot -p123456
CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
exit

  • 安装Docker

    # 安装yum工具包和存储驱动
yum install -y yum-utils device-mapper-persistent-data lvm2
# 设置安装Docker的yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装Docker
yum install docker-ce docker-ce-cli containerd.io
# 启动docker，并设置开机启动
systemctl start docker
systemctl enable docker
# 配置镜像加速
vim /etc/docker/daemon.json
{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]
}
# 加载和重启docker
systemctl daemon-reload
systemctl restart docker
# 查看镜像加速是否配置成功
docker info

  • 拉取镜像

    # 拉取镜像
docker pull canal/canal-server:v1.1.4
# 创建容器
docker run -d --name canal-server \
-e canal.instance.master.address=192.168.88.10:3306 \
-e canal.instance.dbUsername=canal \
-e canal.instance.dbPassword=canal \
-add-host node1:192.168.88.10 \
-p 11111:11111 \
-d canal/canal-server:v1.1.4

  • 修改容器canal配置

    # 进入容器
docker exec -it canal-server bash
# 修改配置
cd /home/admin/canal-server
vi conf/canal.properties
# 第25行和第116行
canal.serverMode = kafka
canal.mq.servers = 192.168.88.10:9092
# 修改实例，第9行
vi conf/example/instance.properties
canal.instance.master.address=192.168.88.10:3306
# 启动
bin/startup.sh

5.测试

  • 使用Kafka创建一个example的Topic

  • 连接MySQL进行测试

    CREATE DATABASE test;
use test;

CREATE TABLE test.user(
	id int(11) NOT NULL,
	name varchar(255) DEFAULT NULL,
	age int(11) DEFAULT NULL,
	PRIMARY KEY (id)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

INSERT INTO test.user (id, name,age) VALUES (1, 'aa',10);
UPDATE test.user SET name = 'bb' WHERE id = 1;
DELETE  FROM test.user WHERE id = 1;

  • 测试多种方案搭配，遇到canal的position问题

    # 进入canal的目录删除对应实例的meta.dat文件，从新启动
rm rf conf/example/meta.dat
HHHBan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Canal1.1.4的安装与使用
weixin_41657391的博客
10-17 1545
这里写自定义目录标题Canal的安装与使用新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Canal的安装与使用 Canal，译意为水道/管道/沟渠。主要用途是基于MYSQL数据库增量日志解析，提供增量数据订阅和消费。 新
canal同步mysql数据变化到kafka（centos部署）
douyh的专栏
06-23 906
canal同步mysql数据变化到kafka（centos部署）
Canal Admin 搭建 Canal 1.1.4版本集群(mysql+canal+kafka)
julyone的博客
12-13 2174
Canal Admin 搭建 Canal 1.1.4版本集群Canal Admin 搭建 Canal 1.1.4版本集群下面开始canal集群的搭建首先要给数据库做下预配置(我这里数据库版本为5.6)canal admin安装canal集群安装按需修改成自己的数据库信息username/password,数据库的用户名和密码mq config针对库名或者表名发送动态topichash partition configmq顺序性问题 很重要 Canal Admin 搭建 Canal 1.1.4版本集群 由于公
阿里Canal从入门到实战
07-09
本课程基于阿里巴巴 MySQL binlog 增量订阅&消费组件，对Canal进行全面系统的讲解。课程先介绍Canal在电商运行项目中的架构设计与解决方案，然后详细讲解Canal架构原理以及Canal HA工作机制，最后通过Canal单节点Server，Canal HA集群，Canal集成Kafka三个案例进行实操，从而快速、深入掌握阿里Canal技术，实现数据实时增量采集.
配置过得canal包，直接解压，稍微修改一下即可用
12-21
基于实时抽取mysql的binlog日志到kafka的组件，已经配好，稍微修改即可使用。
Centos7搭建主从DNS服务器的教程
09-14
主要介绍了Centos7搭建主从DNS服务器的教程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
虚拟机Centos7搭建MQTT服务
11-07
【初学者福利】虚拟机Centos7搭建MQTT服务。【注：虚拟机可连接互联网；以下指令依次进行即可】第二章附带JAVA代码。
Centos7搭建sftp服务流程
09-15
本篇文章给大家详细分析了Centos7搭建sftp服务的全过程以及相关命令分享，一起需要下。
kafka rpm 离线 安装 centos7
09-01
centos 离线服务器安装kafka
CentOS 7 搭建 LAMP 环境与配置
01-09
该博文将介绍 LAMP 架构和在 CentOS 7 下搭建 LAMP 环境的过程。 LAMP 架构介绍 LAMP 就是 Linux + Apache + MySQL + PHP 的缩写。 1、Linux 就是我们已经安装的 CentOS 7 Linux 操作系统。 2、Apache 就是一个 ...
canal demo搭建全记录
weixin_34150830的博客
07-16 688
一、环境介绍 canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases 搭建环境： vmware centos7 部署mysql和canal windows开发canal client，自动捕获mysql数据库变更 二、Centos安装Mysql 1、尝试用yum安装mysql w...
CentOS7.9安装部署canal+kafka实现mysql的数据同步方案示例
DayDayUp的博客
05-30 611
环境准备： 部署mysql机器：ip192.168.187.132 安装canal+kafka的机器：ip192.168.187.131
centos7 下安装canal，并实现将mysql数据同步到redis
qq_23374741的博客
05-29 2614
简介：canal为阿里巴巴产品，它主要模拟了mysql的Slave向Master发送请求，当mysql有增删改查时则会出发请求将数据发送到canal服务中，canal将数据存放到内存，直到客户端程序(canal服务端和客户端程序都是由java编写,且客户端逻辑由我们借助com.alibaba.otter.canal工具包下的类完成开发)通过发布-订阅这种模式消费canal服务中的数据。 安装步骤
canal搭建与部署实例
qq_30043755的博客
10-30 5475
一、准备（本文用的是canal版本是v1.1.1） https://github.com/alibaba/canal/releases 里面有包括canal的详细文档，server端 、client端的例子 、源码、压缩包等等。          二、canal介绍 名称：canal [kə'næl] 译意： 水道/管道/沟渠 语言： 纯java开发 定位： 基于数据库增量日志解析...
canal快速搭建（我已为你近乎避掉所有坑）
热门推荐
wxy’的博客
02-01 1万+
按照我的步骤来： 首先我们不使用Linux自带的Mysql5.1，需要自己去安装5.7版本（要先卸载5.1），这个版本不需要自己去设置UTF-8了自带（所以不会出现乱码问题）！但5.7版本的密码设置需要自己去谷歌修改方法以及怎样设置简单的密码。 我选择的是canal.deployer-1.1.1.tar.gz（之前的版本配置文件似乎有的地方不一样） jdk1.8 centOS6.9 1.开启mys...
Linux学习之CentOS(十三)--CentOS6.4下Mysql数据库的安装与配置
weixin_34186950的博客
04-07 1356
如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jdk、tomcat、eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目，我们当然可以安装一个myeclipse到Linux系统上去，这个安装方法和安装eclipse完全相同，就没有记录下来了，有了jdk、tomcat、ec...
CentOS6.5安装Scala和kafka
菜鸟的博客
05-05 329
安装Scala2.11.4 1、将scala-2.11.4.tgz使用WinSCP拷贝到spark1的/usr/local目录下。 2、对scala-2.11.4.tgz进行解压缩：tar -zxvf scala-2.11.4.tgz。 3、对scala目录进行重命名：mv scala-2.11.4 scala 4、配置scala相关的环境变量 vi ~/.bashrc export...
canal+kafka实践——实时etl
小黄鸭的博客
09-04 1万+
canal解析sql数据库的binlog并格式化数据，然后同步到kafka消息，可以用来实现实时etl yml： spring: application: name: canal canal: topic-prefix: etl_timely. destination: example: 0 username: password:...
centos7搭建服务器
最新发布
03-19
1. 下载和安装CentOS 7：从CentOS官方网站下载CentOS 7的ISO镜像文件，并将其安装到服务器上。 2. 更新系统：安装完成后，使用以下命令更新系统软件包： ``` sudo yum update ``` 3. 安装所需软件：根据你的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值