搭建ElasticSearch + Canal同步MySQL以及Java实现搜索功能

最新推荐文章于 2024-04-17 11:50:55 发布
最新推荐文章于 2024-04-17 11:50:55 发布
阅读量1.8k 收藏 1
点赞数 1
文章标签： elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38370965/article/details/108751962
版权

一、安装Elastic Search 6.8

1.下载

链接: https://pan.baidu.com/s/1tKtt_XeQ9IRAJdKUAqM1Yg 提取码: 7iyx

2.部署环境配置

1）创建用户

adduser elastic

2）修改服务器配置

vi /etc/sysctl.conf

添加

vm.max_map_count = 262144

vi /etc/security/limits.conf

添加

*                soft    nofile          65536
*                hard    nofile          65536

3）查看配置

sysctl -p

在这里插入图片描述
3.安装

1）上传压缩包

2）解压

tar -zxvf elasticsearch-6.8.4.tar.gz

3）修改 config/elasticsearch.yml 配置文件

vim elasticsearch.yml

需要修改的配置

cluster.name: mpx  				#集群名称
node.name: node-1				#节点名称
network.host: 192.168.100.46	#配置访问地址
http.port: 9200					#访问端口
bootstrap.system_call_filter: false
transport.tcp.port: 9300		##集群通讯端口
transport.tcp.compress: true
http.cors.enabled: true
http.cors.allow-origin: "*"

4）修改权限给elastic用户赋权

cd 到解压的es同级目录

chown -R elastic:elastic elasticsearch

4.启动

su - elastic
cd /home/elasticSearch/elasticsearch-6.8.4/
./bin/elasticsearch -d

5.查看日志

tail -f logs/mpx.log	(日志名称为集群名称)

二.安装kibana

1.下载

链接: https://pan.baidu.com/s/1bC22pUOo3sh9syCoz9F0Gg 提取码: n7y5

2.安装

1）上传压缩包

2）解压

tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

3）修改 config 文件夹中 kibana.yml

vim kibana.yml

需要修改的配置

server.port: 5601
server.host: "192.168.100.46"
elasticsearch.url: "http://192.168.100.46:9200"

3.启动

./bin/kibana &

4.查看

浏览器访问：http://192.168.100.46:5601

三.安装canal 1.1.4

1.下载

链接: https://pan.baidu.com/s/1yrB24aHeWksznthejATRGQ 提取码: xwaf

2.安装

1）上传压缩包

2）解压canal

tar -zxvf canal.deployer-1.1.4.tar.gz

3.配置

1）配置MySQL的binlog写入功能

vim /etc/my.cnf

添加配置

server-id=1
expire-logs-days=15
log-bin=/data/mysql/mysql-bin
binlog-format=ROW

2）授权canal链接MySQL账号

登录要连接的MySQL，执行下面命令

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

3.配置 example/instance.properties

canal.instance.master.address=192.168.100.46:3306

4.启动

./bin/startup.sh

四.安装canal adapter 1.1.4

1.下载

链接: https://pan.baidu.com/s/1Vaq4unEAwUNkHOJ0CWCGng 提取码: 4fqc

2.安装

1）上传压缩包

2）解压canal

tar -zxvf canal.adapter-1.1.4.tar.gz

3.配置

1）配置 conf/application.yml

server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null
canal.conf:
  mode: tcp
  canalServerHost: 127.0.0.1:11111
  batchSize: 500
  syncBatchSize: 1000
  retries: 0
  timeout:
  accessKey:
  secretKey:
  srcDataSources:
    defaultDS:
      url: 此处配置连接数据库的地址
      username: 用户名
      password: 密码
  canalAdapters:
  - instance: example
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: es
        hosts: 192.168.100.46:9200
        properties:
          mode: rest
          cluster.name: mpx  #节点名称

2）配置 conf/es/***.yml

根据需要同步的数据库表进行配置，索引名称需要与文件名一致
以下为open_user表的同步配置

表结构：
在这里插入图片描述

配置 open_user.yml

dataSourceKey: defaultDS  #此配置为application.yml 的key
destination: example      #此配置为canal的name
groupId: g1
esMapping:
  _index: open_user
  _type: _doc
  _id: _id
  sql: "SELECT u.id AS _id,u.user_name AS userName,u.sex,u.portrait,u.create_time as createTime FROM open_user u"
  commitBatch: 3000

是可以有多个DS或者多个**.yml的

4.启动

./bin/startup.sh

五.全量同步

1.添加索引

打开 kibana

地址：http://192.168.100.46:5601
在这里插入图片描述

2.导入数据

curl -X POST http://127.0.0.1:8081/etl/es/*.yml （*为索引和es下的文件夹的名称）

在这里插入图片描述

3.测试同步MySQL

1）查看 adapter.log 日志

 cd /home/canaladapter/logs/adapter/
 tail -200f adapter.log

2）修改数据库 open_user 表中的数据

update open_user set user_name = 'abc' where id = 4

2020-09-24 10:12:01.663 [pool-3-thread-1] INFO  c.a.o.canal.client.adapter.logger.LoggerAdapterExample - DML: {"data":[{"id":4,"user_name":"abc","sex":1,"portrait":"","create_time":1600307267000}],"database":"test","destination":"example","es":1600913520000,"groupId":null,"isDdl":false,"old":[{"user_name":"abcd"}],"pkNames":["id"],"sql":"","table":"open_user","ts":1600913521501,"type":"UPDATE"}
2020-09-24 10:12:01.667 [pool-3-thread-1] DEBUG c.a.otter.canal.client.adapter.es.service.ESSyncService - DML: {"data":[{"id":4,"user_name":"abc","sex":1,"portrait":"","create_time":1600307267000}],"database":"test","destination":"example","es":1600913520000,"groupId":null,"isDdl":false,"old":[{"user_name":"abcd"}],"pkNames":["id"],"sql":"","table":"open_user","ts":1600913521663,"type":"UPDATE"} 
Affected indexes: open_user

说明修改的值已经同步到Es库中

六.注意事项

1.使用canal-adapter 需要查看版本对应，es6 与es7 相差较大。

2.使用canal-adapter 需要在es中提前使用mappings建立索引结构，否则无法同步

以上是搭建了Es，下面简单介绍代码如何实现搜索Es索引库

一.代码

1.引入依赖

注意spring boot版本，我使用的是2.1.4.RELEASE

		<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
            <version>2.1.8.RELEASE</version>
        </dependency>

2.application.yml 添加配置

spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
  data:
    elasticsearch:
      cluster-name: mpx
      cluster-nodes: 192.168.100.46:9300
      repositories:
        enabled: true
  elasticsearch:
    rest:
      uris: ["http://192.168.100.46:9200"]

3.创建索引实体类

package com.dcm4che.findscu.entity;

import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

import java.io.Serializable;
import java.util.Calendar;
import java.util.Date;

@Document(indexName = "open_user", type = "_doc")
public class OpenUser implements Serializable {

	@Id
	private String id;

	@Field(type = FieldType.Text)
	private String userName;

	@Field(type = FieldType.Text)
	private String sex;

	@Field(type = FieldType.Text)
	private String portrait;

	@Field(type = FieldType.Date)
	private Date createTime;

	public String getId() {
		return id;
	}

	public void setId(String id) {
		this.id = id;
	}

	public String getUserName() {
		return userName;
	}

	public void setUserName(String userName) {
		this.userName = userName;
	}

	public String getSex() {
		return sex;
	}

	public void setSex(String sex) {
		this.sex = sex;
	}

	public String getPortrait() {
		return portrait;
	}

	public void setPortrait(String portrait) {
		this.portrait = portrait;
	}

	public Date getCreateTime() {
		return createTime;
	}

	public void setCreateTime(Date createTime) {
		// 时间改为东八区
		Calendar cal = Calendar.getInstance();
		cal.setTime(createTime);
		cal.add(Calendar.HOUR, +8);
		this.createTime = cal.getTime();
	}

	@Override
	public String toString() {
		return "OpenUser{" + "id='" + id + '\'' + ", userName='" + userName + '\'' + ", sex='" + sex + '\''
				+ ", portrait='" + portrait + '\'' + ", createTime=" + createTime + '}';
	}
}

4.查询 userName 接口

中英文搜索是需要处理的，这里用了原生的写法处理。

package com.dcm4che.findscu.controller;

import com.dcm4che.findscu.entity.OpenUser;
import org.apache.commons.lang3.StringUtils;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.data.domain.Sort;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.data.elasticsearch.core.query.SearchQuery;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class SearchController {

	@Autowired
	private ElasticsearchTemplate elasticsearchTemplate;

	@PostMapping("/findOpenUserByUserName")
	public Page<OpenUser> findOpenUserByUserName(@RequestParam(value = "userName") String userName,
			@RequestParam(value = "pageNum", required = false) Integer pageNum,
			@RequestParam(value = "pageSize", required = false) Integer pageSize) {
		if (StringUtils.isBlank(userName)) {
			return null;
		}
		if (pageNum == null || pageNum < 0) {
			pageNum = 0; // if page is null, page = 0 size default 1
		}
		if (pageSize == null || pageSize < 0) {
			pageSize = 10; // if size is null, size default 10
		}
		// 分页，根据时间倒序
		Pageable pageable = PageRequest.of(pageNum, pageSize, Sort.Direction.DESC, "createTime");
		// 查询姓名
		QueryBuilder builder = null;
		if (userName.matches("^[A-Za-z0-9]+$")) {
			builder = QueryBuilders.boolQuery()
					.must(QueryBuilders.wildcardQuery("userName", ("*" + userName + "*").toLowerCase()));
		} else {
			builder = QueryBuilders.boolQuery()
					.must(QueryBuilders.matchPhraseQuery("userName", userName.toLowerCase()));
		}
		SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(builder).withPageable(pageable).build();
		return elasticsearchTemplate.queryForPage(searchQuery, OpenUser.class);
	}
}

5.测试

用了postman测试，搜索userName=abc
在这里插入图片描述在这里插入图片描述

与数据库信息一致，到此结束。

长辞笙
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
✅技术社区—通过Canal框架实现MySQL与ElasticSearch的数据同步
weixin_62079735的博客
03-14 523
部署 Canal Server：首先需要在本地安装并启动 Canal Server，使其连接到你的 MySQL 数据库，并开始监听 Binlog 日志。配置 Elasticsearch：确保本地已经安装并启动 Elasticsearch。使用 Canal Adapter：Canal 提供了官方的 Adapter，用于将数据同步到 Elasticsearch。需要配置 Adapter 以连接到你的 Elasticsearch 实例。
JAVA 导入数据到Elasticsearch中
.
01-15 6896
导入数据到Elasticsearch中 前言 我们在使用es时候，需要手动将数据导入到es中，导入数据无非就是给es中写入数据，可以从mysql中写入，也可以从其他db或者excle中导入中间需要做一层转换，然后使用es的相关api批量写入es中。 写入的几种方案 写入方案有很多种： 业务代码中异步写入 如我们创单成功时，异步将订单数据写入es中 数据同步到mq中然后mq在写入es中 如项目日志操作，kafka + es 收集日志操作 将mysql指定表中数据写入到es 这里我们演示将某个表中数据写入e
SpringBoot整合Canal实现数据同步到ElasticSearch，2024年最新你连原理都还没弄明白
最新发布
2401_84167086的博客
04-17 654
canal 译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal原理就是伪装成mysql的从节点，从而订阅master节点的binlog日志canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal)
[Springboot实战系列]Java整合ElasticSearch实现数据模糊搜索（Logstash同步Mysql数据）
蛮三刀酱
03-19 2343
前言 本文介绍了如何整合搜索引擎elasticsearch与springboot，对外提供数据查询接口。 业务介绍 我的个人网站需要对mysql数据库内存储的京东商品进行模糊查询（模仿淘宝商品搜索），所以选择了将数据导入elasticsearch随后使用他来进行关键词查询。前端只需发送用户搜索的关键词和分页参数（可选），即可返回商品数据（json格式） 开发环境 组件介绍： elasticse...
首“0”纪念
weixin_30270889的博客
11-01 90
突然感觉今天吐槽很不吉利。 于是就把写了的删掉了。 嗯，就这样吧。 留个纪念。 足矣。 没有什么好吐槽的吧。还不是因为自己太菜了。 P.S. 结果今晚在洛谷打卡， 滑稽，哭笑不得…… 转载于:https://www.cnblogs.com/charlotte-Y/p/988...
canal实现mysql到ES数据实时同步
07-11
canal实现mysql到ES数据实时同步
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
canal_mysql_elasticsearch_sync支持请星 :sparkles: 交流Q群：733688083 canal于v1.1.2版本后，已支持自动同步到Elasticsearch。赞canal！ 基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是...
基于Canal的MySQL与Elasticsearch实时同步方案设计源码
04-09
MySQL与Elasticsearch实时同步方案 - ...该项目为用户提供了一个基于Canal的MySQL与Elasticsearch实时同步方案，支持增量同步和全量同步，通过界面交互和功能模块，为用户提供了一个高效、易用的实时数据同步解决方案。
ElasticSearch + Logstash 自动同步mysql数据
01-04
ElasticSearch + Logstash 自动同步mysql数据
canal-mysql-elasticsearch-sync20201010.rar
10-12
elasticsearch7版本，使用 阿里的canal数据同步组件，支持单个表对应单个索引的数据同步，同时也支持多个表对应一个索引的嵌套结构的数据同步。
【ElasticSearch】ES与MySQL数据同步方案及Java实现
llg___的博客
07-13 5074
使用canal中间件去监听mysql的binlog，当binlog发生改变，就通知hotel-demo，和上面不同的时，更加解放了hotel-admin这个上游服务，它往mysql写完数据就算任务完成，不用发消息，也不用调用其他服务，引入消息队列，hotel-admin将数据写入mysql，并且自己再往MQ发条消息，说"数据更新了"，任务就算完成，至于后面的hotel-demo什么时候更新ES，花费了多久，那是hotel-demo自己的事情。在hotel-admin服务中，模拟MySQL数据的增删改查。
【数据同步】读出 MySQL 数据，直接写入 ES
03-11 3595
代码： #!/bin/env python import MySQLdb,MySQLdb.cursors import datetime from elasticsearch import Elasticsearch from elasticsearch import helpers import sys # start_time = datetime.datetime.strptime('2021-01-01', '%Y-%m-%d') # stop_time = datetime.datetime.
【大数据开发运维解决方案】OGG For Bigdata 12按操作类型同步Oracle数据到kafka不同topic
热门推荐
赵延东的一亩三分地
05-21 15万+
Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。具体的实施文档已经在之前的文章中写了，这里只给出连接： OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算) 这篇文章主要介绍的是: Or...
Java连接ES, 将Mysql中数据同步到ES中
玩转Java
11-05 2549
Java连接es,用bulk方法将数据库中数据同步到ES中: 主要用到了bulk.add（）方法： public void findByDistrictId() throws IOException { List<Air> airList = airMapper.findByDistrictId(null,null,null,null); BulkRequest bulkRequest = new BulkRequest();
JAVA接口将从MySql查出的大量数据导入到Elasticsearch中实现类
EliTheGod的博客
04-27 8786
通过JAVA API 用BulkRequestBuilder 导入从MySql查出的大量数据至ElasticSearch
java将mysql数据同步到es_同步数据库数据到ES中代码
weixin_28882103的博客
02-28 1877
public classWorker {private static final Logger logger = LoggerFactory.getLogger(Worker.class);private staticJdbcTemplate jdbcTemplate;private final ObjectMapper mapper = newObjectMapper();private ZKC...
搭建EElasticSearch+Canal同步MySQL以及Java代码实现索引
qq_41909586的博客
11-27 680
搭建EElasticSearch+Canal同步MySQL以及Java代码实现索引一、安装Elastic Search 6.81、下载2、部署环境配置3、安装4、启动5、查看日志二、安装kibana1、下载2、安装3、启动4、查看三、安装canal 1.1.41、下载2、安装3.配置3、配置 example/instance.properties4、启动四、安装canal adapter 1.1.41、下载2、安装3、配置4、启动五、全量同步1、添加索引2、导入数据3、测试同步MySQL六、注意事项七、代码
使用ElasticSearch服务从MySQL同步数据实现搜索即时提示与全文搜索功能
lxw1844912514的博客
11-12 1049
最近用了几天时间为公司项目集成了全文搜索引擎，项目初步目标是用于搜索框的即时提示。数据需要从MySQL中同步过来，因为数据不小，因此需要考虑初次同步后进行持续的增量同步。这里用到的开源服务...
canal实现mysql数据实时同步es
09-04
实现MySQL数据实时同步到Elasticsearch可以使用Canal工具。 Canal是阿里巴巴开源的一套基于数据库增量日志解析的数据同步和逆向解析工具，可以实时获取数据库的变更日志，然后将这些变更日志解析成数据并发送到指定的目的地。在实现MySQL数据实时同步到Elasticsearch中，可以使用Canal来实现以下步骤： 1. 安装配置Canal：首先，需要下载并安装Canal，并配置Canal的参数，如MySQL的地址、端口、用户名、密码等。 2. 创建Canal实例：根据实际需求，可以创建一个或多个Canal实例来监控和同步MySQL的变更日志。 3. 配置Elasticsearch目的地：配置Canal将变更日志发送到Elasticsearch作为同步的目的地。 4. 启动Canal实例：通过命令行或脚本启动Canal实例，让Canal开始监控MySQL的变更日志。 5. 解析并同步数据：Canal会实时监控MySQL的变更日志，一旦有变更，就会解析并发送到Elasticsearch。在Elasticsearch中，可以根据业务需求进行相应的处理，比如数据转换、数据筛选、数据拆分等，并将处理后的数据存储到Elasticsearch中。 通过以上步骤，就可以实现MySQL数据的实时同步到Elasticsearch中。Canal工具可以很好地解析MySQL的增量日志并将数据发送到Elasticsearch，保证数据的实时性和一致性。同时，Canal还支持分布式部署和高可用性，可以满足大规模数据同步的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值