ElasticSearch-jdbc从Mysql数据库导入和更新数据

最新推荐文章于 2024-08-30 08:06:51 发布
最新推荐文章于 2024-08-30 08:06:51 发布
阅读量7.8k 收藏 7
点赞数 3
分类专栏： elasticsearch 文章标签： elasticsearch mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38046109/article/details/70224133
版权
本文介绍了如何使用 ElasticSearch-jdbc 版本 2.2 从 MySQL 数据库导入和更新数据。首先，详细讲解了安装 jdbc 的步骤，包括修改 Elasticsearch 的内存设置以适应大数据量导入。接着，描述了配置环境变量、在 MySQL 中添加时间戳以实现增量更新的必要性。最后，提供了数据导入和增量索引更新的 shell 脚本示例。
摘要由CSDN通过智能技术生成

环境：

需要的资源和版本：
- git客户端
- Elasticsearch 版本 2.2.0 安装教程
- elasticsearch-jdbc 版本 2.2
- ik分词器 版本 1.8
（下载后解压将ik文件夹放在elasticsearch-2.2.0\plugins目下，重启elasticsearch即可）
这里写图片描述

一、安装 jdbc

下载完后解压，示例如下：

这里写图片描述

提示：如果导入的数据量很大，先修改elasticsearch的内存
打开目录D:\elasticsearch-2.2.0\bin
修改elasticsearch.in.bat和elasticsearch.in.sh文件（好像只改前面一个就可以）

if "%ES_MIN_MEM%" == "" (
set ES_MIN_MEM=4g
)

if "%ES_MAX_MEM%" == "" (
set ES_MAX_MEM=10g
)

这是设置后的，实际情况根据自己电脑配置。

二、使用jdbc

1.配置环境变量

变量名：JDBC_IMPORTER_HOME
变量值：D:\elasticsearch-2.2.0\elasticsearch-jdbc-2.2.0.0

这里写图片描述

2.在mysql数据库里加时间戳（只导入数据不更新的可以不加）

名：updateupdate_time
类型：timestamp
默认：CURRENT_TIMESTAMP

最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
mysql数据导入elasticsearch并支持SQL查询
03-02
支持定时任务导入mysql数据到elasticsearch 支持SQL语句查询elasticsearch，提供dubbo服务接口 定时任务支持quartz与lts方式
elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解
热门推荐
铭毅天下Elasticsearch
06-16 8万+
1.如何实现mysql与elasticsearch的数据同步？逐条转换为json显然不合适，需要借助第三方工具或者自己实现。核心功能点：同步增、删、改、查同步。2、mysql与elasticsearch同步的方法有哪些？优缺点对比？目前该领域比较牛的插件有：1）、elasticsearch-jdbc，严格意义上它已经不是第三方插件。已经成为独立的第三方工具。https://github.com/jp
一套高效解决方案：MySQL数据实时同步到Elasticsearch
最新发布
码农code之路
08-30 976
概述在实际的项目开发与运维过程中，MySQL 常常扮演着业务数据库的核心角色，以其强大的事务处理能力和数据完整性保障，支撑着系统的稳定运行。然而，随着数据量的急剧增长和查询复杂度的不断提升，单一依赖 MySQL 进行高效的数据检索显得日益吃力，尤其是在面对海量数据的复杂查询场景时，性能瓶颈愈发凸显。为了有效缓解这一挑战，我们通常采用读写分离的策略，将 Elasticsearch（简称 ES）引入作...
将数据库数据导入到Elasticsearch
qq_44476494的博客
08-12 3325
将数据库数据导入到Elasticsearch 通过分页的思想，将数据，一步步导入到ES 下面就是具体业务逻辑代码， 其他代码，就不一一列出了。 /** * 循环导入数据库的数据 * @param status sku 的状态， 是否上架 */ @Override public void importSku(String status) { // 查询出总记录数 Integer count = skuFeign.find
jdbc mysql 更新_JDBC 更新数据
weixin_36432451的博客
01-19 157
importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.SQLException;publicclassUpdateDate{privatestaticStringurl="jdbc:mysql://localhost:330...
把MySql中的数据导入elasticSearch中
helpluozhao123的博客
04-06 6396
首先elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中： 而Json文档中往往包含很多的字段（Field），类似于数据库中的列。 mysql与elasticsearch 我们统一的把mysql与elasticsearch的概念做一下对比： MySQL Elasticsearch 说明 Table Index 索引(index)，就是文档的集合，类似数据库的表(tab
elasticsearch-jdbc-2.3.3.0-dist.zip
03-10
Elasticsearch-JDBC是Elasticsearch官方提供的一个插件，它允许Elasticsearch从任何支持JDBC的数据源（如MySQL）中导入数据。版本号"2.3.3.0"代表了这个插件的一个稳定发布，提供了丰富的功能和优化的性能。 在...
Elasticsearch-jdbc数据同步配置.zip_elastic-jdbc_elasticsearch_elastics
09-20
然而，数据往往存储在关系型数据库如MySQL中，为了实现数据的实时或者定期同步到Elasticsearch，Elasticsearch-jdbc插件应运而生。本文将详细介绍如何配置Elasticsearch-jdbc进行数据同步。 **1. Elasticsearch-...
elasticsearch-jdbc-2.2.0.0-dist
04-18
Elasticsearch-JDBC是Elasticsearch的一个插件，主要用于将数据从关系型数据库（如MySQL、Oracle等）导入到Elasticsearch中，实现数据的实时同步。2.2.0.0是该插件的一个版本号，这通常代表了在那个特定时间点的稳定...
java部门管理的项目源码-elasticsearch-jdbc:Elasticsearch的JDBC导入器
06-05
Elasticsearch 的 JDBC 导入器 Java 数据库连接 (JDBC) 导入器允许从 JDBC 源获取数据以索引到 . JDBC 导入器是为表格数据设计的。 如果您有包含许多连接的表，则 JDBC 导入程序在将深层嵌套对象重构为 JSON 和处理...
数据库导入Elasticsearch工具使用教程
gitblog_00116的博客
08-19 491
数据库导入Elasticsearch工具使用教程 db-elasticsearch-tool一个数据库导入Elasticsearch工具，支持的数据库： mysql,maridb，postgress,oracle ,sqlserver,db2等 支持的Elasticsearch版本： 1.x,2.x,5.x,6.x,+ 支持海量PB级数据同步导入功能 使用参考文档 https://esd...
jdbc mysql 更新_JDBC操作，执行数据库更新操作
weixin_42495057的博客
01-19 396
目标：使用Connection对象取得Statement实例使用Statement进行数据增删改。Statement接口要对数据库操作，要使用Statement完成。此接口可以使用Connection接口中提供的createStatement()方法实例化。证明：所有操作必须从连接展开，通过连接取得操作接口实例。向student表中增加数据。package类集;importjava.sql.Con...
mysql jdbc更新数据_JDBC更新数据实例
weixin_36337389的博客
01-28 207
在本教程将演示如何在JDBC应用程序中，更新数据库的一个表中数据记录。 在执行以下示例之前，请确保您已经准备好以下操作：具有数据库管理员权限，以在给定模式的数据库表中更新数据记录。 要执行以下示例，需要用实际用户名和密码替换这里用户名(username)和密码(password)。MySQL或数据库已启动并运行。所需步骤使用JDBC应用程序向表中更新数据记录需要以下步骤：导入包：需要包含包含数据库...
从mysql 数据库表导入数据到elasticSearch的几种方式
u013558123的博客
03-06 1473
总的来说，选择哪种方法取决于具体的需求和场景。如果需要进行复杂的数据处理和转换，Logstash是一个不错的选择。如果需要高效地导入大量数据，Elasticsearch的Bulk API可能更合适。如果需要一个完整的解决方案，包括数据的导入、存储、搜索和可视化，ELK栈可能更适合。
elasticsearch实现数据的导入Mysql
weixin_46039745的博客
07-04 930
(234条消息) 离线安装elasticdump及备份数据_elasticdump离线安装_韩帅平的博客-CSDN博客]((234条消息)根据MySQL版本更改，我本地的是8.0.32，如果要投入RDS数据库使用的话，最后的依赖要根据版本进行更改。[(234条消息) Node.js安装与配置（详细步骤）_node安装_普通网友的博客-CSDN博客]((234条消息)看见这样说明成功 在文件的最开头添加“[” 末尾添加“]” 让他变成完整的JSON串。6月7日至6月8日 数据335468条数据。
（一：原理4）ElasticSearch内存分配以及优化
weixin_43930865的博客
12-24 9762
ElasticSearch内存分配以及优化 1：服务器内存分配 内存消耗大户： 1：Elasticsearch 2：Lucene(全文搜索) 2：内存解释 2.1：Elasticsearch Elasticsearch默认安装后设置的堆内存是1GB，实际业务肯定不够，需要进行配置，不要超过32G 因为如果堆大小小于 32 GB，JVM 可以利用指针压缩，这可以大大降低内存的使用：每个指针 4 字...
利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
yeyuma的博客
12-09 6万+
logstash-input-jdbc安装超痛苦，专门写了一篇文章发出来 使大家安装的时候不用那么费劲。 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
idea中如何将数据库的数据导入到Elasticsearch中
06-10
在 IntelliJ IDEA 中将数据库中的数据导入到 Elasticsearch 可以通过以下步骤实现： 1. 首先，你需要在 IDEA 中安装 Elasticsearch 插件。打开 IDEA，点击菜单栏的 File -> Settings，在弹出的窗口中点击左侧的 Plugins，搜索 Elasticsearch 并安装。 2. 接下来，你需要创建一个 Maven 项目，并添加 Elasticsearch 和数据库（比如 MySQL）的依赖。在 pom.xml 文件中添加以下依赖： ```xml <dependencies> <!-- Elasticsearch --> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.10.1</version> </dependency> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>7.10.1</version> </dependency> <!-- 数据库驱动 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.23</version> </dependency> </dependencies> ``` 3. 在 Java 代码中，创建 Elasticsearch 客户端并连接到 Elasticsearch 服务器。然后，创建一个数据库连接，并使用 JDBC 获取数据。将数据转换为 Elasticsearch 文档格式，并使用 Elasticsearch 客户端将文档索引到 Elasticsearch 中。 ```java import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.xcontent.XContentType; import java.sql.*; public class Main { public static void main(String[] args) throws Exception { // 创建 Elasticsearch 客户端 RestHighLevelClient client = new RestHighLevelClient(/* ... */); // 创建数据库连接 String url = "jdbc:mysql://localhost:3306/mydb"; String user = "root"; String password = "root"; Connection conn = DriverManager.getConnection(url, user, password); Statement stmt = conn.createStatement(); // 查询数据 ResultSet rs = stmt.executeQuery("SELECT * FROM mytable"); while (rs.next()) { // 将数据转换为 Elasticsearch 文档格式 String id = rs.getString("id"); String name = rs.getString("name"); String age = rs.getString("age"); String json = String.format("{ \"id\": \"%s\", \"name\": \"%s\", \"age\": \"%s\" }", id, name, age); // 将文档索引到 Elasticsearch 中 IndexRequest request = new IndexRequest("myindex").id(id).source(json, XContentType.JSON); client.index(request, RequestOptions.DEFAULT); } // 关闭连接和客户端 rs.close(); stmt.close(); conn.close(); client.close(); } } ``` 以上就是在 IDEA 中将数据库的数据导入到 Elasticsearch 的基本步骤。你需要根据自己的实际情况进行修改。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值