小小的博客

初步了解ES后，想要实现mysql数据同步到ES上。在查询网上资料后，总结mysql同步到ES一般常用三种方式：logstash-input-jdbc: ruby语言开发，ES官方推荐elasticsearch-jdbc: Java开发go-mysql-elastic：经过对比后，本来要选择elasticsearch-jdbc,但费了半天劲后，发现其只支持到ES2.3.

内容汇总在项目开发过程中使用ES及logstash产生的问题及解决办法。1、logstash-input-jdbc安装及使用详见上一篇2、logstash-input-jdbc同步mysql过程中增量同步（相对于全量同步）在logstash配置文件中，如果只配置最基本的几个参数，通常会默认为每次全量拉取数据，这显然大部分时间下是没有必要的。 而要做到每次只拉取新增或新改动的数据，就需要配置几个参数

一、ES _update 后post没有实时检索到问题问题：当 (POST xx/xxx/1/_update) _update es文档中某些字段，发现post检索时,不能实时查出，会需要间隔几秒才能查出 更改后的数据;而使用get查询时，则不必等待时间差，即可实时查出更改后的数据。 这是因为 GET API是Elasticsearch中常用的操作，一般用于验证文档是否存在； 或者

问题描述：logstash在同步mysql数据到elasticsearch上时，跟踪的column是时间变量，因为mysql 用的时区是东八区时间，而经过logstash到es上全部会转成是零时区时间，记录的:sql_last_value 时间也可能会产生时间差，造成时间对不上，无法正常增量同步。分析： 1、在同步数据时要实现增量同步，会需要配置use_column_value => true

1、Removal of mapping types虽然一直知道es已经更新到6.x以上，但之前的项目中一直没有升级，也没有关注版本更新后有哪些变化。昨天要在新项目中也加入ES,遂直接下载了最新版本的es和logstash，照原先的方法做却发现出现了新的问题，查阅之后才发现，ES6.0之后版本mapping有了个大变化，它移除了多types的写法。按照ES的计划，在之后的版本中，会逐渐淘汰 /...

一、ik、pinyin分词器今天用通讯录演示ES检索功能，在对姓名检索时，想实现中文和拼音均可检索，于是除之前常用的中文分词器ik外，又下载了拼音分词器pinyin,使用情况总结如下：1、下载ik：https://github.com/medcl/elasticsearch-analysis-ik pinyin：https://github.com/medcl/elasticsea...