canal异常信息汇总

已于 2023-03-27 10:30:15 修改
阅读量474 收藏
点赞数
文章标签： java spring canal elasticsearch es
于 2023-03-27 10:28:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011650449/article/details/129790104
版权

1.异常信息①:

提示类型转换失败 Load canal adapter: es7 failed
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassCastException:com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource

2021-09-20 13:10:54.094 [main] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es7 failed
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
	at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:54) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
	at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.loadAdapter(CanalAdapterLoader.java:225) [client-adapter.launcher-1.1.5.jar:na]
	at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.init(CanalAdapterLoader.java:56) [client-adapter.launcher-1.1.5.jar:na]
	at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterService.init(CanalAdapterService.java:60) [client-adapter.launcher-1.1.5.jar:na]
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_282]
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_282]
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_282]
	at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_282]
	at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleElement.invoke(InitDestroyAnnotationBeanPostProcessor.java:365) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleMetadata.invokeInitMethods(InitDestroyAnnotationBeanPostProcessor.java:308) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor.postProcessBeforeInitialization(InitDestroyAnnotationBeanPostProcessor.java:135) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.applyBeanPostProcessorsBeforeInitialization(AbstractAutowireCapableBeanFactory.java:422) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1694) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:579) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:501) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$1(AbstractBeanFactory.java:353) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.cloud.context.scope.GenericScope$BeanLifecycleWrapper.getBean(GenericScope.java:390) ~[spring-cloud-context-2.0.0.RELEASE.jar:2.0.0.RELEASE]
	at org.springframework.cloud.context.scope.GenericScope.get(GenericScope.java:184) ~[spring-cloud-context-2.0.0.RELEASE.jar:2.0.0.RELEASE]
	at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:350) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:199) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.getBean(AbstractApplicationContext.java:1089) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.cloud.context.scope.refresh.RefreshScope.eagerlyInitialize(RefreshScope.java:126) ~[spring-cloud-context-2.0.0.RELEASE.jar:2.0.0.RELEASE]
	at org.springframework.cloud.context.scope.refresh.RefreshScope.start(RefreshScope.java:117) ~[spring-cloud-context-2.0.0.RELEASE.jar:2.0.0.RELEASE]
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_282]
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_282]
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_282]
	at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_282]
	at org.springframework.context.event.ApplicationListenerMethodAdapter.doInvoke(ApplicationListenerMethodAdapter.java:264) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.event.ApplicationListenerMethodAdapter.processEvent(ApplicationListenerMethodAdapter.java:182) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.event.ApplicationListenerMethodAdapter.onApplicationEvent(ApplicationListenerMethodAdapter.java:144) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.event.SimpleApplicationEventMulticaster.doInvokeListener(SimpleApplicationEventMulticaster.java:172) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.event.SimpleApplicationEventMulticaster.invokeListener(SimpleApplicationEventMulticaster.java:165) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:139) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:400) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.publishEvent(AbstractApplicationContext.java:354) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.finishRefresh(AbstractApplicationContext.java:888) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.finishRefresh(ServletWebServerApplicationContext.java:161) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:553) ~[spring-context-5.0.5.RELEASE.jar:5.0.5.RELEASE]
	at org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext.refresh(ServletWebServerApplicationContext.java:140) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
	at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:759) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
	at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:395) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:327) ~[spring-boot-2.0.1.RELEASE.jar:2.0.1.RELEASE]
	at com.alibaba.otter.canal.adapter.launcher.CanalAdapterApplication.main(CanalAdapterApplication.java:19) ~[client-adapter.launcher-1.1.5.jar:na]
Caused by: java.lang.RuntimeException: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
	at com.alibaba.otter.canal.client.adapter.es.core.ESAdapter.init(ESAdapter.java:83) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
	at com.alibaba.otter.canal.client.adapter.es7x.ES7xAdapter.init(ES7xAdapter.java:52) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
	... 42 common frames omitted
Caused by: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource
	at com.alibaba.otter.canal.client.adapter.es.core.ESAdapter.addSyncConfigToCache(ESAdapter.java:146) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
	at com.alibaba.otter.canal.client.adapter.es.core.ESAdapter.init(ESAdapter.java:75) ~[client-adapter.es7x-1.1.5-jar-with-dependencies.jar:na]
	... 43 common frames omitted

 

        原因: canal.adapter-1.1.5\plugin\client-adapter.es7x-1.1.5-jar-with-dependencies.jar 中包含druid的包冲突了   解决方案 :替换jar包 下载地址为:下载 下载之后进行替换即可

2.异常信息②:

cannot write xcontent for unknown value of type class java.sql.Timestamp

异常全部信息: canal同步mysql数据到es可能出现的异常

Caused by: java.lang.IllegalArgumentException: cannot write xcontent for unknown value of type class java.sql.Timestamp
	at org.elasticsearch.common.xcontent.XContentBuilder.unknownValue(XContentBuilder.java:833) ~[na:na]
	at org.elasticsearch.common.xcontent.XContentBuilder.map(XContentBuilder.java:888) ~[na:na]
	at org.elasticsearch.common.xcontent.XContentBuilder.map(XContentBuilder.java:870) ~[na:na]
	at org.elasticsearch.action.index.IndexRequest.source(IndexRequest.java:376) ~[na:na]
	at org.elasticsearch.action.index.IndexRequest.source(IndexRequest.java:365) ~[na:na]
	at org.elasticsearch.action.update.UpdateRequest.doc(UpdateRequest.java:643) ~[na:na]
	at com.alibaba.otter.canal.client.adapter.es7x.support.ESConnection$ES7xUpdateRequest.setDoc(ESConnection.java:222) ~[na:na]

解决方案:
        修改配置中的sql，调整Timestamp类型的输出格式。

        如使用 

 select id,date_format(createtime,'%Y-%m-%d %H:%I:%S') createtime  from test_user

左手粗
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Canal 1.1.5 版本踩坑
weixin_37702577的博客
08-28 1897
Canal 1.1.5 版本踩坑 公司要求es做大数据查询, 经过调研使用 es较为合适, 从 mysql 同步至es,除了自己手动同步外还可以用其他工具, 比如阿里的 canal,它可以假装mysql的slave,从mysql拉去binlog,根据binlog信息自动同步至包括但不局限于es. 但是在安装canal服务时,发现很多坑,因为现在百度搜出来的问题大多基于canal1.1.4 或 canal1.1.3 很多解决思路不太一样, 故自列一帖,把遇到的问题都会同步更新至这里 环境 系统 m
CanalAdapter启动异常：Load canal adapter: es failed,No data source found: defaultDS
进击的小白
01-15 4030
现象 启动adapter服务时出现如下错误 2021-01-15 11:01:55.324 [main] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es failed java.lang.RuntimeException: java.lang.RuntimeException: No data source found: defaultDS at com.alibaba....
18 张图手把手教你使用 Canal Adapter 同步 MySQL 数据到 ES8，建议收藏！
最新发布
Wewe的博客
04-15 1169
今天给大家完成的演示了一下如何将MySQL的数据通过同步到ES，功能很强大，但是实操的过程中还是会遇到很多问题的，感兴趣的小伙伴一定要自己动手实操一下，相信会有收获的。
java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to javax.activa
YKbsmn的博客
06-17 3455
这种情况主要是因为import包导错了。（报错的时候可以去有道翻译翻译一下自己尝试找出来） 例如： 在使用DruidDataSource连接MySQL时，连接失败，报错com.alibaba.druid.pool.DruidDataSource cannot be cast to javax.activation.DataSource at druid.DruidDemo.main 解决方法： 导入import javax.sql.DataSource;也就是上面的注释那个地方。 类.
canal 同步表数据提示java.lang.RuntimeException: Target column: id not matched
ty0415的专栏
08-14 2098
canal版本为：1.1.4 canal 同步表数据提示java.lang.RuntimeException: Target column: id not matched 主要原因是源主键id和目标主键id不匹配，如果我们的主键id字段名不是id，假如为xx_id，那么对于的配置应如下： dataSourceKey: defaultDS destination: example groupId: g1 outerAdapterKey: mysql1 concurrent: true dbMappin
Elasticsearch报错：cannot write xcontent for unknown value of type class java.math.BigDecimal
热门推荐
不见其长，日有所长
09-11 1万+
1. 问题与分析 在使用Elasticsearch进行index数据时，发现报错如下： java.lang.IllegalArgumentException: cannot write xcontent for unknown value of type class java.math.BigDecimal at org.elasticsearch.common.xcontent.XConten...
canal学习-运行canal-adapter源码并记录解决报错问题(包含缺失的jar文件)（一）
后端开发
05-16 1538
本文主要是介绍运行canal-adapter源码的运行，以及解决项目中的遇到的问题。 包括但不限于： 1.Failure to find com.alibaba.otter:connector.tcp:jar:jar-with-dependencies:1.1.5问题的解决 2.com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource ps:文末有可以直接运行的修改后的源码
使用canal增量同步mysql数据库信息
10-26
使用 Canal 增量同步 MySQL 数据库信息 Canal 是一个基于 MySQL 二进制日志的高性能数据同步系统，广泛用于阿里巴巴集团（包括 https://www.taobao.com），以提供可靠的低延迟增量数据管道。 Canal 广泛应用于大...
canal-1.1.6
06-22
【标题】"Canal-1.1.6" 是一个重要的数据库同步工具，主要用于实现MySQL数据的实时增量复制。在IT行业中，数据同步是确保多系统间数据一致性和实时性的关键环节，尤其在分布式系统、大数据处理和云计算环境中。Canal...
canal adapter 1.1.5 DruidDataSource 连接池异常
03-03
报错异常： java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource 可用...
canal.deployer-1.1.6
06-22
2. **conf**：存放Canal实例的配置文件，如`canal.properties`定义了Canal的基本属性，`instance.properties`配置了具体的数据库连接信息和binlog解析参数。 3. **lib**：存放Canal运行所需的依赖库，包括Canal的...
canal-1.1.5 全套
03-27
包含canal全套资源包含以下 canal.adapter-1.1.5.tar.gz canal.admin-1.1.5.tar.gz canal.deployer-1.1.5.tar.gz canal.example-1.1.5.tar.gz
ELK系列(4) - Elasticsearch cannot write xcontent for unknown value of type class java.math.BigDecimal...
weixin_30563319的博客
05-12 831
问题与分析 在使用Elasticsearch进行index数据时，发现报错如下： java.lang.IllegalArgumentException: cannot write xcontent for unknown value of type class java.math.BigDecimal at org.elasticsearch.common.xcontent.XC...
canal报错解析错误
czppzcx的博客
12-29 1153
https://github.com/alibaba/canal/issues/3281 canal go client连接1.1.4canal server，用的tcp模式，连接成功后，立马发送了几天数据变更到client，然后修改数据库出发binlog，client端一直未收到变更，大概十几秒后看example.log发现报错，之后会和client重连，然后再报这个错，一直这样死循环，之前用的好好的，后来有一个问题，就重启了一次canal就这样了....... 2020-12-29 09:59:59.
项目启动异常（已解决解决）
h_big_tiger的博客
11-15 5283
项目为canal adapter。 jdk版本为：1.8.0_144 报错日志： 2019-11-15 16:49:26.126 [main] INFO o.s.c.annotation.AnnotationConfigApplicationContext - Refreshing org.springframework.context.annotation.AnnotationConfigAp...
java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to java.sql.Driv
m0_46566023的博客
08-18 5247
java.lang.ClassCastException: com.alibaba.druid.pool.DruidDataSource cannot be cast to java.sql.Driver at com.alibaba.druid.util.JdbcUtils.createDriver(JdbcUtils.java:658) at com.alibaba.druid.pool.DruidDataSource.resolveDriver(DruidDataSource.java:1212) a
CanalAdapter同步ES7（全量&增量）
分享技术，记录问题，努力学习
05-13 2558
CanalAdapter同步ES7 预准备 Mysql5.7 ElasticSearch7.12.1集群或单击(7.x +) 一个数据库和一个表结构 1.下载 下载Canal1.1.5,支持es7 canal.deployer-1.1.5.tar.gz对应的是canal的server端，负责订阅并解析Mysql-Binlog canal.adapter-1.1.5.tar.gz对应的是适配器，负责将server的binlog转换并发送给对应的应用 canal.admin-1.1.5.tar.gz一个
canal培训.pptx
03-06
Canal 培训.pptx 文件提供了关于 Canal 服务在数据库增量数据同步和数据订阅方面的详细信息。这份培训材料涵盖了 Canal binlog 同步和 Canal 服务的培训内容，旨在帮助用户了解和掌握如何使用 Canal 实现数据库增量...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左手粗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值