[Elasticsearch] ES更新问题踩坑记录

drop table if exists tmp.test_create_table;

create table if not exists tmp.test_create_table(

id int,

name string

) stored as parquet;

问题排查

---

查看ES数据

发现ES创建表的状态没有正常更新 yn 还是0

查看日志

查看日志, 截取部分关键信息:

ReceiverController] [4eb1c8fd7b6987ae] - 接收的hive元数据为:{“data”: …

“eventType”:“DROP_TABLE” …

ReceiverController] [d1aa226b8739d352] - 接收的hive元数据为:{“data”: …

“eventType”:“CREATE_TABLE” …

[Kafka-Consume-Thread-bigdata_aa-0] [ec812addb0bf424d] - update table data to es: … “yn”:0}

[Kafka-Consume-Thread-bigdata_aa-0] [3085b7329053aaac] - update table data to es: … “yn”:1}

日志里有几个关键线索：

1. 建表与删除表的Hive元数据信息正常上报上来了

2. 建表删表事件都执行了更新数据到ES的操作， [Kafka-Consume-Thread-bigdata_aa-0] 可以看出是单线程更新ES， 所以不会存在多线程并发的问题

3. 基本可以定位是在es更新这块出问题了

看对应代码

final TableDocBean docBean = baseSearchService.getById(id);

setValueForBean(afterColumns, docBean);

log.info(“update table data to es: {}”, JSON.toJSONString(docBean));

baseSearchService.update(docBean);

代码先通过表id 获取对应ES文档，然后赋值 执行更新数据操作

这块没有看出什么问题，考虑到两个事件同时执行时间间隔较短，采用了在代码里Thread.sleep(1000) 睡眠下试试，发现两条SQL语句同时执行的基本每次都成功，可以在ES搜索到.

这种操作不免让人觉得ES里执行更新操作，肯定是有延迟的，具体为什么延迟，就需要看下ES的更新原理

更新原理

---

正在上传…重新上传取消​

ES更新请求先将index-buffer中文档（document）解析完成的segment写到filesystem cache之中，这样避免了比较损耗性能io操作，又可以使document可以被搜索 , 从index-buffer中取数据到filesystem cache中的过程叫做refresh。es默认的refresh间隔时间是1s

ES数据在更新的时候并不是在原来的数据上做修改的, 而是找到该数据的索引Id，把原来的数据删掉，再重新插入一条，但索引id是相同的

当删除、更新两个操作间隔很短时间执行，上一个数据还没有refresh 到 FileSystem Cache区域，就无法查询，final TableDocBean docBean = baseSearchService.getById(id);

获取不到数据，所以会导致数据更新失败

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。

上述的面试题答案都整理成文档笔记。 也还整理了一些面试资料&最新2021收集的一些大厂的面试真题（都整理成文档，小部分截图）

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
1713512037700)]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！