canal工具不能同步问题处理Broken pipe

canal工具异常处理

ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - process error!
com.alibaba.otter.canal.protocol.exception.CanalClientException: java.io.IOException: Broken pipe

canal工具同步二天就会出现这个错误

网上查了很多都是要重启adapter,写了个重启脚本来解决这个问题

#! /bin/bash
#by yuanzelin8
#2022-03-26

#canal异常监听;
port=`cat /usr/local/canal/adapter/logs/adapter/adapter.log |grep -A10 "Broken pipe" -c`

#上述代码表示统计adapter.log后10行中Broken pipe的数量

#判断:如果$port>0,说明adapter有异常需要重启
if [ $port -gt 0 ]; then
    /usr/local/canal/adapter/bin/restart.sh
fi

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Canal是阿里巴巴开源的一款数据库增量订阅&消费组件,支持MySQL、PostgreSQL和阿里云DRDS等数据源的增量数据订阅。它通过监听数据库的binlog日志,将数据变更事件解析成Java对象,然后以异步的方式传输到消息队列中,从而实现了数据的增量同步。 Canal具有以下特点: 1. 高性能:采用Netty异步网络框架,支持高并发。 2. 稳定性:经过阿里巴巴业务的考验,具有良好的稳定性。 3. 可靠性:支持数据过滤、数据转换、事务同步等功能,保证数据的完整性。 4. 扩展性:支持插件机制,方便用户自定义功能。 5. 易用性:提供了简单易用的API和管理界面,方便用户使用和管理。 Canal的使用流程如下: 1. 安装Canal Server,配置数据库信息和监听的表信息。 2. 启动Canal Server,监听数据库的binlog日志。 3. 客户端连接Canal Server,订阅数据变更事件。 4. Canal Server将数据变更事件以异步的方式传输到消息队列中。 5. 客户端从消息队列中消费数据变更事件,进行数据同步。 Canal支持多种消息队列,包括Kafka、RocketMQ、RabbitMQ等,用户可以根据自己的需求选择合适的消息队列进行数据同步。 总之,Canal是一款非常优秀的数据库增量订阅&消费组件,具有高性能、稳定性、可靠性、扩展性和易用性等优点,可以为用户提供高效、可靠、灵活的数据同步方案。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值