- 博客(5)
- 收藏
- 关注
RSS订阅原创 logstash同步mysql数据到Elasticsearch遇到问题记录
问题1.java.lang.OutOfMemoryError: Java heap space从报错信息看是堆溢出，为什么会堆溢出呢？logstash是读取mysql的数据，经过filter处理以后再发送到ES；那么这个读取mysql的过程其实就和我们写代码，将大量数据读取到内存里，导致内存溢出是一样的；解决办法和平时写代码的注意点是一样的，将数据分批读。理解了这个，就想怎么分批读，解决就在input输入插件input { jdbc { jdbc_driver_li
2020-12-29 19:37:09
1178
2
原创 logstash同步mysql数据到Elasticsearch实战,主要实现删除
一.前言 之前网上看了很多文章，说mysql同步数据到Elasticsearch只能做增量同步，即只能新增（add）或者修改（update），不支持删除（delete）操作。所以一般的做法是使用逻辑删除，查询时带上逻辑删除字段，然后使用定时器定时去物理删除状态为删除的数据。最近刚好应用，一开始也是采用逻辑删除的做法，但是我的sql语句关联了4张表，每张表的逻辑删除状态有deleted（删除状态）、status（禁用启用状态）两个，一共就是4*2=8个逻辑删除字段，查询ES时需带上8个字段，...
2020-12-15 11:22:39
4446
12
原创 Elasticsearch 初始化客户端 Java（已解决es链接偶尔断开问题）
一.前言 目前所使用的皆基于Elasticsearch7.6.X版本，使用的客户端连接是官方推荐的Java High Level REST Client；其他连接方式，如需介绍，后面再加入。二.SpringBoot集成1.引入pom依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...
2020-11-10 21:09:09
2216
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人