Canal部署过程中的错误

最新推荐文章于 2024-05-11 13:58:59 发布
最新推荐文章于 2024-05-11 13:58:59 发布
阅读量8.8k 收藏 16
点赞数 4
文章标签： elasticsearch mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43286124/article/details/118612030
版权

文章目录

错误整理的不是很全面，有一些可能在后期整理文档的过程中丢失了，如果有人遇到了未整理的错误，也可以私信我

错误一：NullPointerException

日志：

ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## something goes wrong when starting up the canal client adapters:
java.lang.NullPointerException: null

原因是：https://www.cnblogs.com/lukairui/p/12461339.html

简单介绍：

​ 在canal-adapter/conf文件夹下的application.yml文件中

img

源码中getMqServers()这个方法在调用的时候，返回了空值

错误二：MySQLNonTransientConnectionException

日志：

MySQLNonTransientConnectionException: Could not create connection to database server.

原因：

更改一下url就好了

url: jdbc:mysql://localhost:3306/yinliu?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true
 
driver: com.mysql.cj.jdbc.Driver

错误三：ESConnection

日志：

ERROR c.a.otter.canal.client.adapter.es7x.support.ESConnection - [test_user/fCjeNaRFQhynESPY9hfN-Q][[test_user][2]] ElasticsearchException[Elasticsearch exception [type=document_missing_exception, reason=[_doc][10]: document missing]]

原因：

修改的mysql数据库数据，在es中不存在。

错误四：UnknownHostException

日志：

java.lang.RuntimeException: java.net.UnknownHostException: http: Name or service not known
        at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:54) ~[client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.loadAdapter(CanalAdapterLoader.java:225) [client-adapter.launcher-1.1.5.jar:na]
        ......
        at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:395) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
        at org.springframework.boot.SpringApplication.run(SpringApplication.java:327) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
        at com.alibaba.otter.canal.adapter.launcher.CanalAdapterApplication.main(CanalAdapterApplication.java:19) ~[client-adapter.launcher-1.1.5.jar:na]
Caused by: java.net.UnknownHostException: http: Name or service not known
        at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method) ~[na:1.8.0_292]
        at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:929) ~[na:1.8.0_292]
        at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1324) ~[na:1.8.0_292]
        at java.net.InetAddress.getAllByName0(InetAddress.java:1277) ~[na:1.8.0_292]
        at java.net.InetAddress.getAllByName(InetAddress.java:1193) ~[na:1.8.0_292]
        at java.net.InetAddress.getAllByName(InetAddress.java:1127) ~[na:1.8.0_292]
        at java.net.InetAddress.getByName(InetAddress.java:1077) ~[na:1.8.0_292]
        at com.alibaba.otter.canal.client.adapter.es7x.support.ESConnection.<init>(ESConnection.java:84) ~[client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar:na]
        at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:45) ~[client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar:na]
        ... 42 common frames omitted

原因：

      - name: es7
        key: es-test
        hosts: http://127.0.0.1:9200 # 127.0.0.1:9200 for rest mode
        properties:
          mode: rest # transport # or rest
#          # security.auth: test:123456 #  only used for rest mode
          cluster.name: es

修改：

      - name: es7
        key: es-test
        hosts: 127.0.0.1:9200 # 127.0.0.1:9200 for rest mode
        properties:
          mode: rest # transport # or rest
#          # security.auth: test:123456 #  only used for rest mode
          cluster.name: es

错误五：CommunicationsException

日志：连接mysql时候报错08001

ERROR com.alibaba.druid.pool.DruidDataSource - create connection SQLException, url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true, errorCode 0, state 08S01
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

原因：

MySQL的连接字符串需要配置ServerTimezone属性，可以用UTC、Hongkong、Asiz/Shanghai等。

如果使用UTC的话会有8小时时差，所以建议使用Hongkong或Asiz/Shanghai。

修改：conf/application.yml

  srcDataSources:
    defaultDS:
      url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf-8&autoReconnect=true
      username: canal
      password: Canal@123

错误六：CanalClientException

日志：

 ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - process error!
com.alibaba.otter.canal.protocol.exception.CanalClientException: java.net.ConnectException: Connection refused
        at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.doConnect(SimpleCanalConnector.java:198) ~[na:na]
        at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.connect(SimpleCanalConnector.java:115) ~[na:na]
        at com.alibaba.otter.canal.connector.tcp.consumer.CanalTCPConsumer.connect(CanalTCPConsumer.java:63) ~[na:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.AdapterProcessor.process(AdapterProcessor.java:184) ~[client-adapter.launcher-1.1.5.jar:na]
        at java.lang.Thread.run(Thread.java:748) ~[na:1.8.0_292]
Caused by: java.net.ConnectException: Connection refused
        at sun.nio.ch.Net.connect0(Native Method) ~[na:1.8.0_292]
        at sun.nio.ch.Net.connect(Net.java:482) ~[na:1.8.0_292]
        at sun.nio.ch.Net.connect(Net.java:474) ~[na:1.8.0_292]
        at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:647) ~[na:1.8.0_292]
        at com.alibaba.otter.canal.client.impl.SimpleCanalConnector.doConnect(SimpleCanalConnector.java:150) ~[na:na]
        ... 4 common frames omitted

原因：配置端口不对或对应端口服务异常

修改：

错误七：ClassCastException

日志：

 ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 failed
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
        at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:54) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.loadAdapter(CanalAdapterLoader.java:225) [client-adapter.launcher-1.1.5.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.init(CanalAdapterLoader.java:56) [client-adapter.launcher-1.1.5.jar:na]
        ......
        at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:52) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
        ... 42 common frames omitted
Caused by: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
        at com.alibaba.otter.canal.client.adapter.es.core.ESAdapter.addSyncConfigToCache(ESAdapter.java:146) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
        at com.alibaba.otter.canal.client.adapter.es.core.ESAdapter.init(ESAdapter.java:75) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
        ... 43 common frames omitted

原因：canaladapter-1.1.5版本的druid包冲突

修改：

  • 下载v1.1.5-alpha-2版本的
  • 解压后，将canaladapter-1.1.5的plugin里面的client-adapter.es7x-1.1.5-jar-with-dependencies.jar替换为v1.1.5-alpha-2版本中plugin里面的client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar

错误八：IllegalStateException

日志：

java.lang.IllegalStateException: Extension instance(name: es7, class: interface com.alibaba.otter.canal.client.adapter.OuterAdapter) could not be instantiated: class could not be found

原因：

​ 文件下配置有问题

修改：

错误九：65536

ERROR: [5] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: memory locking requested for elasticsearch process but memory is not locked
[3]: max number of threads [1024] for user [wangxiang] is too low, increase to at least [4096]
[4]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[5]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
1.修改vi /etc/security/limits.conf文件，增加配置

      soft    nofile          65536
      hard    nofile          65536

切换到root用户，编辑vi /etc/security/limits.conf配置文件，添加如下内容:
soft memlock unlimited
hard memlock unlimited
备注：* 代表Linux所有用户名称

最大线程个数太低。修改配置文件 vi /etc/security/limits.d/90-nproc.conf
soft nproc 4096
1
hard nproc 4096
1
修改/etc/sysctl.conf文件，增加配置
vm.max_map_count=262144
或者
vm.max_map_count=655360
执行命令sysctl -p生效

canal程序包API

网址： http://alibaba.github.io/canal/apidocs/1.0.13/index.html?com/alibaba/otter/canal/client/package-use.html

Asker.J
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
Canal部署操作说明及应用场景验证
04-24
Canal部署操作说明及应用场景验证，包括 Canal Client Java Demo 、详细的部署操作流程、应用场景验证结论。非常合适Canal初学者参考
binlog开源同步组件canal部署包，版本1.1.4
02-18
binlog开源同步组件canal部署包 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行...
canal client 异常 解决方案
a979096313的博客
07-28 6842
异常信息如下: com.alibaba.otter.canal.protocol.exception.CanalClientException: java.net.ConnectException: Connection timed out: connect Caused by: java.net.ConnectException: Connection timed out: connect [l-client-thread] t.j.c.client.client.AbstractCanal
Canal-adapt部署遇到的小坑-java.lang.IllegalArgumentException: Could not resolve placeholder ‘GROUP[1]‘ in v
zhang5324496的博客
11-04 698
背景: 使用 canal+ kafka + canal-adapt。 将 源数据库mysql0 实时同步到 目的数据库mysql2。 数据流向 Mysql0 -> canal -> kafka -> canal-adapt -> Mysql2 按照官网的demo步骤进行配置。后运行报错 2021-10-25 19:45:16.358 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoade.
解决问题：com.alibaba.otter.canal.protocol.exception.CanalClientException: deserializer failed异常
最新发布
东皋长歌的专栏
05-11 815
所以canal会报错，没法儿正确的完成ack，所以batchId也不会增加，导致一致没法完成数据的同步。1.2 使用threadLocal存储batchId，保证同一个线程调用时batchId相同。在ack给canal的时候，batchId和取binlog时的batchId不一致。1.1 将获取batchId和ack用的batchId这一段放在同步代码块里。修改canal.properties。1，在消费端代码里，保证线程安全。2，在canal上配置参数。
Mysql写入数据时，adapter 日志报ES连接错误
jast
09-20 463
Mysql写入数据时，adapter 日志报ES连接错误 日志如下： 2021-09-20 13:51:03.795 [pool-1-thread-1] ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{S72RabnzTOyy3Xedn4-8Lw}{12
Canal-adapter1.1.14 最新版本安装的过程中出现的NullPointerException异常
BertramLAU的专栏
06-08 2408
系统环境 CentOS Linux release 7.7.1908 Canal 1.1.14 问题现象 2020-06-08 13:39:48.019 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## something goes wrong whe n starting up the canal client adapters: java.lang.NullPointerException: nul
canal-adapter 启动报错Could not resolve placeholder ‘HOSTNAME%%.*‘
花花世界芸芸众生的博客
01-29 926
Could not resolve placeholder 'HOSTNAME%%.*' in value "history -a; history -a; printf "\033]0;%s@%s:%s\007" "${USER}" "${HOSTNAME%%.*}" "${PWD/#$HOME/~}""
canal-adapter:sqlRs has error
dupha的博客
02-12 1309
canal-adapter:配置后，增量和全量还是没有同步且报错support -sqlRs has error （单表同步没有问题，关联表没有同步） ERROR com.alibaba.otter.canal.client.adapter.support.U til - sqlRs has error ERROR c.a.otter.canal.client.adapter.es7x.etl.ESEtlSer vice - java.lang.RuntimeExce
canal-adapter同步数据时报错（Caused by: java.util.NoSuchElementException: null）
weixin_45528987的博客
04-24 4675
安装canal-adapter1.1.5配置ES映射出现的坑 打开源码查看 此方法此行报错 查看报null错误的类 初步判定为ESmapping出来错误，让我们在仔细查看日志，说明它能正确解析出索引库和类型，说明错误极大可能出现在sql语句方面。 仔细查看sql语句，这是一条非常复杂的sql，预测sql过于复杂，解析失败，修改sql语句 select a.id AS id, a.id AS...
**canal.service和canal.adapter启动无没有反应也没有日志输出**
weixin_45375089的博客
02-13 760
原因：可能是由于服务器可用内存不够，导致服务起不来，建议可用内存在2G以上。如果是内存不足，可用通过这个方式解决，注意本方案建议在测试机上操作。2.如果是内存不足，可用调大虚拟内存。生产机调大虚拟内存会降低服务器性能。1.查看服务器可用内存。
canal-1.1.6
06-22
canal-1.1.6
canal-1.1.5 全套
03-27
包含canal全套资源包含以下 canal.adapter-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.deployer-1.1.5.tar.gz canal.example-1.1.5.tar.gz
canal-1.1.7.zip
04-24
canal.admin-1.1.7-SNAPSHOT.tar.gz canal.adapter-1.1.7-SNAPSHOT.tar.gz canal.deployer-1.1.7-SNAPSHOT.tar.gz
Canal报错总结
程序员朱永胜
07-21 1638
观察报错信息可以得知是配置文件中的outer2（0基，所以outer-adapter[1]实际指的是2）的properties配置有问题，我们观察配置文件，发现是properties下的mode,cluster.name等属性与properties同级了，将其如下图所示后退两字符即可。（4）因为读取的是最新的binlog。1、这个报错是ES的mapping设置的问题，确保es中有该索引，并且确认是否有部分字段没有在es中设置mapping,这个要对应之前设置的sql，以及es中的mappings来解决。
canal-adapter字段过滤
深蓝浅蓝的天
08-18 969
canal-adapter字段过滤
canal工具不能同步问题处理Broken pipe
03-31 2408
CanalClientException: java.io.IOException: Broken pipe
com.alibaba.otter.canal.protocol.exception.CanalClientException
沐雨金鳞
12-05 7413
如果你用canal连接mysql，查看日志没有发现错误，但是！！！！！！用客户端连接的时候出现了问题！！！！！！！ 记住铁子： CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils.getHostIp(), 11111), "example", "canal", "canal"); port一定要设置成11111，因为这是.
canal中es7映射字段和数据同步使用总结踩坑
后端开发
03-02 1064
sql映射说明 sql支持多表关联自由组合, 但是有一定的限制:Elastic Search的mapping 属性与sql的查询值将一一对应(不支持 select *), 比如: select a.id as _id, a.name, a.email as _email from user, 其中name将映射到es mapping的name field, _email将 映射到mapping的_email field, 这里以别名(如果有别名)作为最终的映射字段. 这里的_id可以填写到配置文件的 _id
canal实际使用中如何部署
07-09
Canal 是阿里巴巴开源的一款用于 MySQL 和 PostgreSQL 数据库的增量数据订阅和消费的工具。以下是 Canal 在实际使用中的部署步骤： 1. 安装和配置 Canal Server：首先，需要在服务器上安装和配置 Canal Server。可以从 Canal 的官方 GitHub 仓库下载最新版本的 Canal Server，并根据文档进行安装和配置。配置文件中需要指定数据库的连接信息、监听的 binlog 文件以及订阅的数据库和表信息。 2. 启动 Canal Server：启动 Canal Server，让其开始监听数据库的 binlog 变动。 3. 创建 Canal 客户端：在需要消费数据库变更的应用程序中，创建 Canal 客户端。Canal 客户端会连接到 Canal Server，订阅指定的数据库和表。 4. 解析和处理数据变更：Canal 会将数据库的增量变更以 JSON 格式发送给客户端。在客户端中，需要解析这些 JSON 数据，并根据业务需求进行相应的处理，如更新缓存、发送消息等。 5. 监控和管理：部署后，需要对 Canal 进行监控和管理，确保其正常运行。可以使用监控工具或自定义脚本来监控 Canal Server 的状态和性能指标，并及时处理错误和异常情况。 需要注意的是，Canal 部署过程中还涉及到数据库的配置和权限设置，确保 Canal Server 能够正常连接到数据库并订阅相应的 binlog。此外，Canal 还支持高可用部署，可以配置多个 Canal Server 实例以增加可靠性和容错性。具体的部署方式可以根据实际需求和架构进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值