- 博客(5)
- 收藏
- 关注
RSS订阅原创 Canal 发送到kafka多分区保证数据结果一致性
一、mq顺序性问题1. canal目前选择支持的kafka/rocketmq，本质上都是基于本地文件的方式来支持了分区级的顺序消息的能力，也就是binlog写入mq是可以有一些顺序性保障，这个取决于用户的一些参数选择2. canal支持MQ数据的几种路由方式：单topic单分区，单topic多分区、多topic单分区、多topic多分区canal.mq.dynamicTopic，主要控制是否是单topic还是多topic，针对命中条件的表可以发到表名对应的topic、库名对应的topic、默认top
2020-12-24 17:36:51
4169
3
原创 关于使用JDBC读取Apache Druid遇到的问题以及解决思路
关于使用JDBC读取Druid遇到的问题以及解决思路在使用 Apache Druid 提供的JDBC api 时，遇到了以下问题：在Apache Druid 的web页面端可以执行的SQL语句，在放到了JDBC执行时会有无法执行的情况：例如 where XXX in （‘xx’，‘xx’）语法原因猜想：可能是版本低的原因造成。解决思路：在不尝试更改现有版本的情况下，通过查阅Druid官方文档发现：向Druid发送查询是可以通过 curl 发送一个特定内容的 .json格式的文件来实现的。基于
2020-11-06 17:38:24
2349
4
原创 在Mac上安装Linux系统centos7
虚拟机下载地址点此下载VMware Fusion 11.5CentOS-7下载地址(.iso结尾的)点此下载虚拟机的安装VMware端设置双击安装同意序列号网上找，或者某宝（注意版本对应)TX1NF-PPVRW-A1XAX-X5PVZ-Q7ZTT(11版本)继续双击拖拽下载好的centos7到这里设置固件–虚拟机的信息是保存在文件当中的, 因此要选择文件(虚拟机)保存的位置硬件配置–选择默认即可完成VMware端设置Mac端设置安全性设置从官方安装V
2020-09-01 16:01:19
6263
8
原创 Canal有关dynamicTopic出现的INVALID_TOPIC_EXCEPTION问题
INVALID_TOPIC_EXCEPTION产生原因分析亲测有效(虽然不一定是最完美的解决办法)1 .topic命名原则topic命名最好不要带下划线"_",容易和kafka默认topic产生冲突2.注意canal.mq.dynamicTopic的使用①canal.instance.filter.regex,后面配置该mysql下,你要监听的数据库下的对应的表,例如canal.instance.filter.regex=user1.table1,user2.table2,user3.table
2020-08-13 10:38:12
2489
原创 Canal的快速安装部署
Canal解析MySQL 5.7的binloghttps://github.com/alibaba/canal1.配置Linux的yum源1.0删除老版本的MySQLyum remove mysql mysql-serverrm -rf /var/lib/mysql 1.1在命令行中执行如下的命令，添加MySQL5.7的yum源cat >> /etc/yum.repos.d/mysql57.repo << EOF[mysql57-community]name=My
2020-08-12 15:48:52
459
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人