canal-1.16-k8s部署测试

已于 2023-03-17 14:49:07 修改
阅读量695 收藏
点赞数
文章标签： kubernetes 数据库 mysql
于 2023-03-17 14:39:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012473280/article/details/129620352
版权

Canal 主要用途是基于MySQL 数据库增量日志解析，提供增量数据订阅和消费

部署canal 单机版

canal 的工作原理

MySQL 安装

mysql 主要用来存储canal 的一些信息

mysql 创建pvc 存储

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv
  namespace: iot
spec:
  capacity:
    storage: 50Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow
  nfs:
    path: /data/mysql-data
    server: ###IP 地址

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
  namespace: iot
spec:
  accessModes:
    - ReadWriteMany
  volumeMode: Filesystem
  resources:
    requests:
      storage: 50Gi
  storageClassName: slow

apiVersion: v1
kind: Service
metadata:
  name: mysql
  namespace: iot
spec:
  type: NodePort
  ports:
  - port: 3306
  selector:
    app: mysql
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
  namespace: iot
spec:
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:8.0.19
        name: mysql
        env:
          # 在实际中使用 secret
        - name: MYSQL_ROOT_PASSWORD
          value: bdtp@2022
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-data
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-data
        persistentVolumeClaim:
          claimName: mysql-pvc
创建canal 数据库
create database canal_manager default character set utf8mb4 collate utf8mb4_unicode_ci;
CREATE USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
grant all on canal_manager.* to 'canal'@'%' ;
flush privileges;
#其中8.0远程连接要修改为mysql_native_password 认证连接，否则连接失败，如果不是mysql_native_password 则使用以下修改语句
## ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY 'canal';
导入sql 
https://github.com/alibaba/canal/blob/canal-1.1.6/admin/adminweb/src/main/resources/canal_manager.sql
canal-admin 创建
apiVersion: v1
kind: ConfigMap
metadata:
  name: canal-admin
  namespace: iot
data:
  admin_user: "admin"
  admin_password: "123456"
  datasource_address: "mysql:3306"
  datasource_database: "canal_manager"
  datasource_username: "canal"
  datasource_password: "canal"

---

kind: Deployment
apiVersion: apps/v1
metadata:
  name: canal-admin
  namespace: iot
  labels:
    app.kubernetes.io/name: canal-admin
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: canal-admin
  template:
    metadata:
      name: canal-admin
      creationTimestamp: null
      labels:
        app.kubernetes.io/name: canal-admin
    spec:
      containers:
        - name: canal-admin
          image: 'canal/canal-admin:v1.1.6'
          imagePullPolicy: IfNotPresent
          ports:
            - name: web
              containerPort: 8089
              protocol: TCP
          env:
            - name: server.port
              value: '8089'
            - name: canal.adminUser
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: admin_user
            - name: canal.adminPasswd
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: admin_password
            - name: spring.datasource.address
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: datasource_address
            - name: spring.datasource.database
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: datasource_database
            - name: spring.datasource.username
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: datasource_username
            - name: spring.datasource.password
              valueFrom:
                configMapKeyRef:
                  name: canal-admin
                  key: datasource_password
          resources:
            requests:
              cpu: 250m
              memory: 256Mi
          livenessProbe:
            httpGet:
              path: /
              port: 8089
            initialDelaySeconds: 10
            timeoutSeconds: 5
            periodSeconds: 30
          readinessProbe:
            httpGet:
              path: /
              port: 8089
            initialDelaySeconds: 10
            timeoutSeconds: 5
            periodSeconds: 30
      restartPolicy: Always
      nodeSelector: {}
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 1
              podAffinityTerm:
                labelSelector:
                  matchLabels:
                    app.kubernetes.io/name: canal-admin
                namespaces:
                  - iot
                topologyKey: kubernetes.io/hostname
  revisionHistoryLimit: 10

---

kind: Service
apiVersion: v1
metadata:
  name: canal-admin
  namespace: iot
spec:
  type: NodePort
  ports:
    - protocol: TCP
      port: 8089
      targetPort: 8089
  selector:
    app.kubernetes.io/name: canal-admin

canal-server 部署

apiVersion: v1
kind: ConfigMap
metadata:
  name: canal-server
  namespace: iot
data:
  admin_manager: "canal-admin:8089"
  admin_port: "11110"
  admin_user: "admin"
  admin_password: "6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9"   # 123456加密
  #admin_register_cluster: "local"  ##集群名称
  admin_register_auto: "true"
  admin_register_name: "iot-canal-server"  ##canal-server 自动注册名称

---
kind: StatefulSet    ##canal-server 采用StatefulSet 方式部署
apiVersion: apps/v1
metadata:
  name: canal-server
  namespace: iot
  labels:
    app.kubernetes.io/name: canal-server
    app: canal-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app.kubernetes.io/name: canal-server
      app: canal-server
  template:
    metadata:
      name: canal-server
      labels:
        app.kubernetes.io/name: canal-server
        app: canal-server
    spec:
      imagePullSecrets:
      - name: secret
      containers:
        - name: canal-server
          image: 'canal/canal-server:v1.1.6'
          imagePullPolicy: Always
          ports:
            - name: tcp
              containerPort: 11111
              protocol: TCP
          env:
            - name: POD_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            - name: SERVICE_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: 'metadata.labels[''app'']'
            - name: STS_NAMESPACE
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.namespace
            - name: canal.register.ip
              value: $(POD_NAME).$(SERVICE_NAME).$(STS_NAMESPACE)  ##  canal-server采用实例名，防止每次重启导致的IP不同，Instance实例选择时的变化
            - name: canal.admin.manager
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_manager
            - name: canal.admin.port
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_port
            - name: canal.admin.user
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_user
            - name: canal.admin.passwd
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_password
            #- name: canal.admin.register.cluster
            #  valueFrom:
            #    configMapKeyRef:
            #      name: canal-server
            #      key: admin_register_cluster
            - name: canal.admin.register.auto
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_register_auto
            - name: canal.admin.register.name
              valueFrom:
                configMapKeyRef:
                  name: canal-server
                  key: admin_register_name
          resources:
            requests:
              cpu: 250m
              memory: 256Mi
          livenessProbe:
            tcpSocket:
              port: 11112
            initialDelaySeconds: 10
            timeoutSeconds: 5
            periodSeconds: 30
          readinessProbe:
            tcpSocket:
              port: 11112
            initialDelaySeconds: 10
            timeoutSeconds: 5
            periodSeconds: 30
      restartPolicy: Always
      nodeSelector: {}
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 1
              podAffinityTerm:
                labelSelector:
                  matchLabels:
                    app.kubernetes.io/name: canal-server
                namespaces:
                  - iot
                topologyKey: kubernetes.io/hostname
  serviceName: canal-server
  revisionHistoryLimit: 10

---
kind: Service
apiVersion: v1
metadata:
  name: canal-server
  namespace: iot
spec:
  ports:
    - protocol: TCP
      port: 11110
      targetPort: 11110

  type: ClusterIP
  selector:
    app.kubernetes.io/name: canal-server
    app: canal-server
canlal 配置修改
canal主配置修改

运行正常之后，登录页面，默认是admin 123456 可以在页面修改账号与密码

在这里插入图片描述

可以看到默认已经注册了

在这里插入图片描述

点击操作—修改主配置-点击保存即可

# tcp, kafka, rocketMQ, rabbitMQ
canal.serverMode = kafka
# 默认是tcp模式，修改为kafka 


######### 		     Kafka 		     #############
##################################################
kafka.bootstrap.servers = 172.19.0.64:9092
kafka.acks = all
kafka.compression.type = none
kafka.batch.size = 16384
kafka.linger.ms = 1
kafka.max.request.size = 1048576
kafka.buffer.memory = 33554432
kafka.max.in.flight.requests.per.connection = 1
kafka.retries = 0
kafka.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username='用户名' password='密码';

kafka.sasl.mechanism=PLAIN
kafka.security.protocol=PLAINTEXT
kafka.kerberos.enable = false
kafka.kerberos.krb5.file = "../conf/kerberos/krb5.conf"
kafka.kerberos.jaas.file = "../conf/kerberos/jaas.conf"
canal 创建instance
## 需要修改的部分，源库的ip数据库地址
canal.instance.master.address=127.0.0.1:3306

# 源库的用户名与密码
# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

# 匹配同步的数据库规则
# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=


# mq config  
# kafka topic 的名字，可以在kafka创建，与kafka topic对应，如果不填写，会自动创建
canal.mq.topic=example

#备注： 需要在源库中创建用户名与密码并且同时具有同步的权限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
kafka 查看消息

在这里插入图片描述

也可以查看instance 的日志

潇&洒
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
k8s集群下canal-adapter连接canal-server实践
01-07
k8s集群下adapter连接server域名问题改造前言问题解析解决方案 前言 成也容器重启，败也容器重启，说好的重启治百病，在容器这里，是重启出百病啊！ 之前说过，我们使用statefuset类型使canal-server域名固定之后又...
k8s集群下canal-server的伪高可用实践
01-07
k8s集群下canal-server的伪高可用实践前言问题解决方案总结 前言 前面我们已经介绍了canal的admin、server、adapter三个部分的容器化以及在k8s集群下的搭建过程。在创建canal-server的时候，k8s环境下，容器重启会...
kubernetes 网络之 flannel 与 calico
03-16
Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。 K8s网络在kubernetes的管理中是不可或缺的部分，本套课程主要围绕目前主流的flannel和calico两个网络组件进行讲解。还深入的剖析了calico和k8s网络策略等。主要讲解K8S网络的以下几个方面：  1. Flannel网络在k8s中的应用，及三种后端模式的演示。  2. Calico网络在k8s中的架构及部署。  3. Calico各选项的调整及对网络性能的优化。  4. Calico网络策略和K8s网络策略的常见用法及案例。  5. Calico网络策略的高级使用场景，比如限制到k8s节点的流量及高并发流量的旁路等。  6. Flannel网络的迁移及和calico策略的集成。注意： 本课程学习需要具有一定的Linux基础，网络基础，至少需要您了解网络七层协议，路由等基础知识，并掌握Docker和k8s相关知识点。
【K8S系列】深入解析k8s网络插件—Canal
热门推荐
颜淡慕潇
09-12 3万+
Canal 提供了网络功能，使得 Kubernetes 集群中的 Pod 可以相互通信，并与集群外部的服务进行通信。它通过网络插件的方式，为每个 Pod 分配唯一的 IP 地址，并管理网络流量的路由和转发。此外，Canal 还支持网络策略，用于定义 Pod 之间的通信规则和安全策略。 Canal 基于 Calico 和 Flannel 项目，结合了二者的优点。它使用 Calico 的数据平面，提供高性能的网络转发和安全特性，同时使用 Flannel 的控制平面，实现 IP 地址管理和网络策略的配置。
k8s集群下搭建-canal:canal-server
梦想起飞的地方.........
04-23 3885
k8s集群下搭建-canal:canal-server k8s集群下搭建数据同步工具-canal:canal-server篇 前言 容器化 canal-server 环境准备 k8s集群创建pod canal-server 前言 canal-server的搭建过程与canal-admin大体相同，但需要解决一下一些问题，我们知道，server是通过canal.properties中的register.ip向admin注册server信息的，但是在k8s环境下，po..
k8s 部署canal admin及server单机服务
manwufeilong的博客
01-04 1927
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。部署清单部署步骤 a. 初始化数据库及创建用户 b. 编写 K8s yaml文件 mysql执行以下sql脚本，创建库 'canal_manager' 用来存放canal-admin的数据，server、instance配置等数据 2.2 canal-admin k8s yaml部署文件 创建部署 deployment.yaml，资源清单包含：service，deployment，configmap，ingress。使用官方c
kubernetes：canal 部署
feiger的专栏
09-04 3760
背景描述： 我们的k8s集群使用flannel cni插件，由于flannel 不支持 networkpolicy， 所以我们研究了其他的支持网络策略的cni，calico 和canal 为什么是canal 刚开始去研究了 calico ，发现calico支持 ipip 和bgp两种策略， 由于我们IT当前不支持BGP网络， 而IPIP模式对于calico而言，意义不是很大，所以决定部署更为简单的...
canal-adapter-v1.1.7的docker镜像
01-08
canal-adapter-v1.1.7，docker镜像，参考的制作流程：https://blog.csdn.net/qiaodaima0/article/details/125561823?spm=1001.2014.3001.5501
canal-1.1.6-SNAPSHOT.rar
11-25
【标题】"canal-1.1.6-SNAPSHOT.rar" 提供的是一个名为 Canal 的数据同步工具的特定版本，即 1.1.6-SNAPSHOT 版本。这个压缩包是针对 Java 开发环境，特别是 JDK 17 的安装文件。这意味着在使用前，你需要确保你的...
canal.adapter-1.1.6.zip
08-31
6. **部署与配置**：解压`canal.adapter-1.1.6.tar.gz`后，用户需要配置Canal服务器地址、数据库连接信息、适配器目标端信息等，然后启动服务进行数据同步。 7. **监控与管理**：Canal适配器通常提供监控接口，可以...
k8s 部署 canal 集群，RocketMQ 模式
最新发布
赵丙双的博客
03-31 1400
k8s 部署 canal 集群，RocketMQ 模式
k8s Canal (by quqi99)
技术并艺术着
01-25 5499
作者：张华 发表于：2021-01-25 版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明 Canal是Flannel和Calico的组合，因此它的优点也在于这两种技术的交叉。网络层用的是Flannel提供的简单overlay，可以在许多不同的部署环境中运行且无需额外的配置。在网络策略方面，Calico强大的网络规则评估，为基础网络提供了更多补充，从而提供了更多的安全性和控制。 所以检查Canal的网络连通性方面，主要看Flannel. 测试环境信息 kubernete
k8s 安装canal 注意事项
iiopsd的博客
03-21 410
k8s安装canal和注意事项
kubernetes service 的nodePort、port、targetPort、containerPort详解
爱死亡机器人
09-08 6553
nodePort nodePort提供了集群外部客户端访问service的一种方式，:nodePort提供了集群外部客户端访问service的端口，即nodeIP:nodePort提供了外部流量访问k8s集群中service的入口。 比如外部用户要访问k8s集群中的一个Web应用，那么我们可以配置对应service的type=NodePort，nodePort=30001。其他用户就可以通过浏览器http://node:30001访问到该web服务。 而数据库等服务可能不需要被外界访问，只需被内部服务访问即
k8s集群下搭建数据同步工具-canal:canal-adapter篇
XUEJIA2S的博客
01-31 1万+
k8s集群下搭建数据同步工具-canal:canal-adapter篇前言容器化canal-adapter环境准备k8s集群创建podcanal-adapter 前言 canal-adapter的创建步骤就相对简单，主要是镜像的构建和同步相关配置的问题，后续会写一些adapter适配过程中遇到的坑，以及可能需要自己去改造的部分内容。 容器化 canal-adapter 环境准备 yum源文件 C...
Kubernetes网络插件Canal的工作原理和关键功能
weixin_65175398的博客
09-14 536
Canal 是一个基于 Flannel 和 Calico 的组合的 K8s 网络解决方案。它提供了网络策略和网络隔离，使您能够在 K8s 集群中轻松管理容器之间的通信。网络隔离：Canal 允许您定义网络策略，控制哪些 Pod 可以相互通信，从而增强了安全性。IP 管理：Canal 使用 Calico 来管理 Pod 的 IP 地址，支持可路由的 IP 地址池。高性能：Canal 利用了 Linux 内核功能，提供了高性能的数据面转发。灵活性。
k8s部署canal cni插件及配置网络策略
学亮编程手记
03-12 756
这将创建一个名为calico-policy-controller的Deployment和一个名为calico-kube-controllers的DaemonSet，用于在Kubernetes中管理网络策略。如果需要使用Canal的网络策略功能，则需要在Kubernetes中创建网络策略对象。可以通过kubectl apply命令将canal.yaml文件中的配置应用于Kubernetes集群中。通过以上步骤，就可以在Kubernetes中部署Canal，并使用其提供的灵活的容器网络解决方案。
canal的kafka的kerberos认证,Could not find a 'KafkaClient' entry in the JAAS configuration. System proper
剑雨江湖
12-11 8496
关于canal同步数据到kafka的kerberos认证，操作过程： 1、修改canal.properties canal.mq.kafka.kerberos.enable = true canal.mq.kafka.kerberos.krb5FilePath = ../conf/kerberos/krb5.conf canal.mq.kafka.kerberos.jaasFilePath =...
k8s部署canal-server
08-19
要在Kubernetes (K8s) 上部署 Canal Server，你可以使用 Deployment 和 Service 来创建和管理它。 首先，你需要创建一个 Canal Server 的配置文件，例如 `canal-server.yaml`，其内容类似于以下示例： ```yaml api...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值