在Java中简单的将Mysql中的数据添加到es中并且定时检查更新

最新推荐文章于 2024-07-13 03:21:50 发布
最新推荐文章于 2024-07-13 03:21:50 发布
阅读量2.7k 收藏 3
点赞数
分类专栏： java es SpringBoot 文章标签： string java es 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_59532336/article/details/121505751
版权
本文介绍如何在Java SpringBoot应用中使用Elasticsearch REST High Level Client连接到Elasticsearch，并从MySQL数据库中定时抓取数据，转换为JSON格式存储到ES。通过配置Bean建立无账号密码的ES连接，利用Scheduled定时任务每5秒执行一次数据同步。
摘要由CSDN通过智能技术生成

废话不说 先上pom依赖

    <这个是统一的依赖管理>

    <properties>

        <elasticsearch.version>7.13.0</elasticsearch.version>

    </properties>

    <下面是pom依赖>

    <dependency>

        <groupId>org.elasticsearch.client</groupId>

        <artifactId>elasticsearch-rest-high-level-client</artifactId>

        <version>7.13.0</version>

        <exclusions>

            <exclusion>

                <groupId>org.elasticsearch</groupId>

                <artifactId>elasticsearch</artifactId>

            </exclusion>

            <exclusion>

                <groupId>org.elasticsearch.client</groupId>

                <artifactId>elasticsearch-rest-client</artifactId>

            </exclusion>

        </exclusions>

    </dependency>

    <dependency>

        <groupId>org.elasticsearch</groupId>

        <artifactId>elasticsearch</artifactId>

        <version>${elasticsearch.version}</version>

    </dependency>

    <dependency>

      

最低0.47元/天 解锁文章
浮生恍若一梦
关注
专栏目录
java多线程监控数据库表_干货分享：利用Java多线程技术导入数据到Elasticsearch
weixin_33701379的博客
02-27 402
前言近期接到一个任务，需要改造现有从mysql往Elasticsearch导入数据MTE(mysqlToEs)小工具，由于之前采用单线程导入，千亿数据需要两周左右的时间才能导入完成，导入效率非常低。所以楼主花了3天的时间，利用java线程池框架Executors中的FixedThreadPool线程池重写了MTE导入工具，单台服务器导入效率提高十几倍(合理调整线程数据，效率更高)。关键技术栈Ela...
JAVA接口将从MySql查出的大量数据导入到Elasticsearch中实现类
EliTheGod的博客
04-27 8819
通过JAVA API 用BulkRequestBuilder 导入从MySql查出的大量数据至ElasticSearch
java批量更新es
最新发布
weixin_40345185的博客
07-13 90
如何实现Java批量更新ES 作为一名经验丰富的开发者，你需要教会一位刚入行的小白如何实现Java批量更新ES。下面是整个过程的流程以及每个步骤需要做的事情。 流程 步骤 描述 1 创建一个Elasticsearch客户端 2 准备要更新的文档数据 3 执行批量更新操作 详细步骤 步骤1：创建一...
java中SpringBoot项目定时将MySql数据同步到ES中
m0_61620621的博客
11-26 3215
项目所用依赖 <modelVersion>4.0.0</modelVersion> <artifactId>tm-shop-model</artifactId> <dependencies> <!--es--> <dependency> <groupId>org.springframework.boot</groupId>
【MySQL】java死锁例子
m0_57767600的博客
07-08 272
深耕技术，啃下22个技术点 互联网行业更新换代非常快，行业常态便是不断学习，因此这些主流技术你一个都不能落下！ ①并发编程 Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，因此学习起来比较费劲，从而导致很多人望而却步，但是无论是职场面试还是高并发高流量的系统的实现都离不开并发编程，能够真正掌握并发编程的人才在市场上供不应求。 ②JVM JVM存在的意义就是实现跨平台，而JVM也是中高级程序员必须要掌握的技术，基本上面试必问。学JVM也是为了更深入地理解Java，很多
mysql读数据入库es_如何使mysql中的数据同步到es中？
weixin_39955938的博客
12-20 663
方案一：(同步操作，代码侵入性比较高)在往数据库中增加一条数据的同时，向es中也插入一条Books.objects.create()向es中插入一条数据方案二：使用celery起一个定时任务在用户低峰的时候，执行定时任务(比如每天晚上00：00)，把当天新增的数据查询出来并处理成Json格式存到es中。向es中插入一条方案三：使用django信号-Books.objects.create()在插入...
java将mysql数据同步到es_同步数据库数据到ES中代码
weixin_28882103的博客
02-28 1942
public classWorker {private static final Logger logger = LoggerFactory.getLogger(Worker.class);private staticJdbcTemplate jdbcTemplate;private final ObjectMapper mapper = newObjectMapper();private ZKC...
Canal实现Mysql和ES数据同步
Blue92120的博客
11-10 2449
当然, 市面上有很多Canal客户端, 我们以GitHub上的第三方开源的canal-starter客户端, 并且结合SpringBoot为例, 进行演示。而ES所实现的搜索, 需要把数据放入ES中, 才能实现, 所以, 就需要我们把mysql中的数据, 同步到ES中才可以。在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库中, 比如mysql数据库。Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。
用Java代码，如何同步Mysql数据库的数据到elasticsearch
weixin_35756373的博客
01-05 671
要在Java中将MySQL数据同步到Elasticsearch，可以使用以下步骤： 使用JDBC连接MySQL并执行查询。这需要加载MySQL JDBC驱动并使用Java代码创建连接。 获取查询的结果集。使用Java代码遍历结果集并将其转换为Elasticsearch可以使用的JSON文档。 使用Elasticsearch的Java API将JSON文档添加到索引。 以下是完整的Java...
关于在Java中简单的将Mysql中的数据添加到es中并且定时同步更新
m0_61812652的博客
11-26 1441
关于在Java中简单的将Mysql中的数据添加到es中并且定时同步更新
canal-elasticsearch：基于阿里巴的canal向elasticsearch中同步数据mysql数据的小工具
02-03
对于Elasticsearch，如果要在项目中使用，第一个要解决的问题就是，如何将数据库中的数据同步到Elasticsearch，下面常见的几种中方案 修改代码，修改插入数据库的代码，同时插入Elasticsearch 修改代码，修改插入...
mysql数据同步到es中_如何使mysql中的数据同步到es中？
weixin_42138780的博客
01-26 1440
方案一：(同步操作，代码侵入性比较高)在往数据库中增加一条数据的同时，向es中也插入一条Books.objects.create()向es中插入一条数据方案二：使用celery起一个定时任务在用户低峰的时候，执行定时任务(比如每天晚上00：00)，把当天新增的数据查询出来并处理成Json格式存到es中。向es中插入一条方案三：使用django信号-Books.objects.create()在插入...
java批量导入数据到es_干货分享：利用Java多线程技术导入数据到Elasticsearch
weixin_29821223的博客
03-02 1408
前言近期接到一个任务，需要改造现有从mysql往Elasticsearch导入数据MTE(mysqlToEs)小工具，由于之前采用单线程导入，千亿数据需要两周左右的时间才能导入完成，导入效率非常低。所以楼主花了3天的时间，利用java线程池框架Executors中的FixedThreadPool线程池重写了MTE导入工具，单台服务器导入效率提高十几倍(合理调整线程数据，效率更高)。关键技术栈Ela...
Java方式mysql数据库导入elasticsearch
争当鲲鹏飞万里 不做燕雀恋子巢
03-26 2334
elasticsearch里面提供了两种批量建索引的方法： 1，使用 Bulk Api 特点是：使用比较简单，但控制不够灵活 2，使用Bulk Processor 特点是：使用稍麻烦，控制非常灵活 建立索引时，可以关闭索引的副本功能，可以极大提高写入效率 curl -u admin:admin -XPUT '192.168.128.146:9200/etl5...
java es mysql_java操作ES整个流程介绍
weixin_29668665的博客
02-10 452
一 准备工作下载elasticsearch-6.7.0和展示ES数据的界面工具elasticsearch-head-master，本人电脑已安装IntelliJ IDEA 2019.3 x64的java工具。简单点，我们直接按默认配置学习。windows直接点击elasticsearch.bat启动ES。图1使用npm run start启动elasticsearch-head-master，然后...
Java如何读取mysql存入es_java循环读取mysql并存入java集合里
weixin_31456563的博客
01-19 272
importjava.sql.Connection;importjava.sql.DriverManager;publicclassDBHelper{privatestaticfinalStringdriver="com.mysql.jdbc.Driver";//数据库驱动privatestaticfinalStringurl="jdbc:mysql://loca...
mysql数据导入到es中_将xls/csv数据导入到ES中
weixin_42513028的博客
02-05 492
packagecom.blb.mysql_java_es.util;importcom.alibaba.excel.EasyExcel;importcom.blb.mysql_java_es.listener.UserListener;importcom.blb.mysql_java_es.pojo.User;importjava.io.File;importjava.sql.Connection...
【数据同步】读出 MySQL 数据，直接写入 ES
03-11 3620
代码： #!/bin/env python import MySQLdb,MySQLdb.cursors import datetime from elasticsearch import Elasticsearch from elasticsearch import helpers import sys # start_time = datetime.datetime.strptime('2021-01-01', '%Y-%m-%d') # stop_time = datetime.datetime.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值