阿里巴巴Canal不支持Elasticsearch7.0以上版本问题

最新推荐文章于 2024-04-28 13:39:09 发布
最新推荐文章于 2024-04-28 13:39:09 发布
阅读量394 收藏 1
点赞数
分类专栏： java 文章标签： java elasticsearch
原文链接：https://blog.csdn.net/ccystewart/article/details/104969144
版权

用到了Canal来模拟Mysql的slave以通过Binglog来增量构建Elasticsearch的索引。
发现Canal 1.1.3版本不支持Elasticsearch7.3版本。解决问题方法如下：

  1. 通过github.com/alibaba/canal来下载开源代码
  2. idea导入canal-master
  3. 更改elastcisearch包下的pom.xml的版本为7.3
  4. 找到ESAdapter.java中225行，发现报红long rowCount = response.getHits().getTotalHits();原因为Elasticsearch的getTotalHits()多包了一层，需通过.value()获取，加上即可
  5. 找到ESConnection.java中420行，发现return restHighLevelClient.bulk(bulkRequest);报红，原因为bulk中少一个参数，加上RequestOptions.DEFAULT
  6. 到canal-master目录下，直接执行mvn clean package -DskipTests
神盾局码农~
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
今晚带你解密阿里巴巴Canal1
08-08
Canal的诞生源于阿里巴巴早期在杭州和美国两地部署机房时面临的跨机房数据同步问题。原本的解决方案依赖于业务触发器来获取数据库的增量变更，但随着业务的发展，阿里巴巴开始尝试通过解析数据库日志的方式来实现更...
canal-1.1.3支持elasticsearch7.8.0，canal支持es7
weixin_66488549的博客
11-30 432
1. 目的是canal需要在把mysql5.7的数据经过canal后打到elasticsearch中，目前elasticsearch版本为7.8.0
centos7 阿里 canal 实现增量同步MySQL的数据到ES
laow的博客
12-15 2986
下载canal 下载地址:https://github.com/alibaba/canal/releases/tag/canal-1.1.5 准备工作 安装mysql5.7 , es7.x,安装过程略… 注意: mysql 需要开启 binlog 在my.cnf 加入如下： [mysqld] og-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
二、Elasticsearch入门必读指南：到底选择哪个ES版本更合适_elticsearch用什么版本的多(1)
最新发布
2301_79098963的博客
04-28 973
三、综上来说选择7.10版本是比较合适的，当然使用者要首先考虑业务场景。
canal 同步mysql binlog 日志到 elasticsearch7
gyk163的博客
03-10 656
日常开发过程中，我们有80%的时间都是使用查询操作，把所有的压力都放在mysql slave上也会存在访问瓶颈，我们选用elasticsearch 来查询数据
用阿里canal 从 mysql同步到 es
qq_33454058的博客
05-17 533
最近开发要用到 mysql 数据同步到 es 。在搜索后定位到阿里开源的canal，其主要原理是canal伪装成MySQL的从库，接收binlog信息，再通过解析和映射同步到其他的存储中去。 官方的文档已经比较详尽，整体流程参考QuickStart，Adapter-ES，也在网上搜索搭建步骤但不是很详细， 在此仅记录一下自己的具体操作步骤，和在搭建时候遇到可坑。 搭建环境： ubuntu-20.04.3 mysql-8.0.29 canal-1.1.5 elasticsearch-7.17.3 kiban
【工作问题】阿里巴巴Canal不支持Elasticsearch7.0以上版本问题
ccystewart的博客
03-19 1106
用到了Canal来模拟Mysql的slave以通过Binglog来增量构建Elasticsearch的索引。 发现Canal 1.1.3版本不支持Elasticsearch7.3版本。解决问题方法如下： 通过github.com/alibaba/canal来下载开源代码 idea导入canal-master 更改elastcisearch包下的pom.xml的版本为7.3 找到ESAdapter...
阿里巴巴-canal使用配置说明-图灵杨过1
08-04
阿里巴巴的Canal是用于数据库变更数据捕获（CDC，Change Data Capture）的开源工具，主要用于实现数据库实时同步到其他系统，如消息队列、搜索引擎或者大数据平台。这篇配置说明主要介绍了如何在Canal中配置MySQL...
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
canal于v1.1.2版本后，已支持自动同步到Elasticsearch。赞canal！ 基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的...
canal-elasticsearch：基于阿里巴的canal向elasticsearch中同步数据mysql数据的小工具
02-03
一个基于阿里巴巴，实时同步mysql数据到Elasticsearch的工具。轻量，易于配置，部署简单，支持数据回滚。使用Totoro可以帮助您轻松的将mysql的数据实时同步到Elasticsearch。Totoro是基于阿里巴巴的渠道，是数据库...
阿里巴巴 mysql 数据 canal
02-06
阿里巴巴MySQL数据Canal是一款高效、稳定且开源的数据同步工具，主要用于数据库实时增量数据订阅与推送。它能够实现实时地从MySQL数据库中捕获更改，然后将这些更改推送到各种消费端，如消息队列、大数据存储或者...
canal adapter支持Elasticsearch 5.X版本配置
IVON
06-27 1790
先将elasticsearch下的pom文件中依赖的elasticsearch相关组件的版本号降至5.X <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> &l...
使用canal同步mysql变更到elasticsearch及其坑
热门推荐
flyawayjh的博客
07-12 3万+
部署图这是一开始的部署图,没有加消息队列,消息队列后面再加的前期准备
AlibabCloud版本升级后不兼容问题
qq_36978700的博客
11-26 665
注意： v2.1.0到v2.2.0后，Sentinel里面依赖进行了改动，且不向下兼容 自定义降级返回数据 【旧版】实现UrlBlockHandler并且重写blocked方法 @Component public class XdclassUrlBlockHandler implements UrlBlockHandler { @Override public void blocked(HttpServletRequest httpServletRequest, HttpServletRes
阿里-Canal 实现ES数据实时同步
qq_33301310的博客
11-24 5043
使用Canal实现es数据实时同步 canal ：github地址：https://github.com/alibaba/canal/ 原理很简单：数据库开启bin-log日志，calan伪装成mysql的slave 读取bin-log日志 官方的说明： canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 ca.
阿里Canal实时同步MySQL数据到ES等其他存储的开源神器
mnasd的博客
02-03 2548
我们在做网站的搜索功能时需要用到检索数据，而从数据库中来查找效率是很低，而且不现实的。通常对检索支持比较好的就是Elasticsearch或HBase等存储，但是前期的数据都存在mysql数据库中，那么怎么一直实时数据同步到es中，而又不影响现有业务。阿里开源神器canal可以解决这个问题，它可以把MySQL中的数据实时同步到Elasticsearch、HBase等数据存储中。 简介 canal简单说就是对MySQL的增量数据进行实时同步到MySQL、Elasticsearch、HBase等数据存储
CanalAdapter同步ES7（全量&增量）
分享技术，记录问题，努力学习
05-13 2560
CanalAdapter同步ES7 预准备 Mysql5.7 ElasticSearch7.12.1集群或单击(7.x +) 一个数据库和一个表结构 1.下载 下载Canal1.1.5,支持es7 canal.deployer-1.1.5.tar.gz对应的是canal的server端，负责订阅并解析Mysql-Binlog canal.adapter-1.1.5.tar.gz对应的是适配器，负责将server的binlog转换并发送给对应的应用 canal.admin-1.1.5.tar.gz一个
canal_adapter1.1.5将mysql数据同步至elasticsearch7，可以少走一些坑
qq_42569136的博客
04-25 2300
几天前，canal发布了1.1.5版本，通过该版本可以将mysql热迁移到es7，1.1.5之前的版本是不支持es7的。 官方地址 1.下载，canal-1.1.5，下载下面几个： 2.配置mysql和deployer，参考文档https://github.com/alibaba/canal/wiki/QuickStart 3.配置adapter，参考文档https://github.com/alibaba/canal/wiki/ClientAdapter和https://github.com/aliba
canalAdapter同步至es7.x踩坑指南
qq_27621745的博客
03-03 4358
没啥，就是跌倒的有点多，在此记录一下。 canal版本 1.1.5 es版本 7.14.1 kafka 2.6.0 环境windows10， 所有服务都是在win上运行的 接上篇。。。 搭建步骤 假设es已搭建完毕 首先下载canalAdapter1.1.5和canalAdapter1.1.5-alpha-2 然后将alpha-2中plugins目录下的client-adapter.es7x-1.1.5-SNAPSHOT-jar-with-dependencies.jar复制到1.1.5的plugins下
canal简介.ppt
02-24
canal简介.ppt

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值