elasticsearch
一米绿光
这个作者很懒,什么都没留下…
展开
-
Elasticsearch同步mysql数据
主要思路是通过logstash-input-jdbc,并不是实时同步,准实时(通过schedule进行捞取) 原理:通过SQL语句(相对BIN LOG同步可以写较复杂的SQL)进行全量和增量同步 注意点: 增量同步的坑,需要有更新时间,不好做删除,可能需要做逻辑删除(即更新记录)。 更新时间需要做索引。 步骤 1.安装es 2.安装logstash 安装es对应的版本: ...原创 2019-02-14 14:11:44 · 2179 阅读 · 0 评论 -
mysql数据同步es踩坑记
背景: 需要把mysql的数据同步到es中。由于没有维护canal集群, 我们选择了通过记录最后一次同步数据的update_time来进行数据同步。 具体的做法,当有数据变更的时候,发个消息,表示需要进行数据同步。 消息的监听者加锁串行执行,从要同步数据的表中获取上一次update_time之后的数据,并且把最后一条记录的update_time更新回去。 比如说有用户表 user...原创 2019-03-11 17:48:19 · 1172 阅读 · 0 评论