最近在捣鼓ES,使用的是Elasticsearch Head来可视化数据。在通过Logstash 从MySQL中导读数据到ES的时候,明明好几万的数据最后却只有显示一条:
显示只有一条
这是logstash配置文件
后面发现原来是配置中的 document_id的原因,导致每次导入的数据都会被覆盖,以至于只有最后一条数据得以保留。而仍会显示占用很大的内存是因为ES删除数据不是实时同步的。将上述配置去掉之后就能够正常显示了:
最近在捣鼓ES,使用的是Elasticsearch Head来可视化数据。在通过Logstash 从MySQL中导读数据到ES的时候,明明好几万的数据最后却只有显示一条:
显示只有一条
这是logstash配置文件
后面发现原来是配置中的 document_id的原因,导致每次导入的数据都会被覆盖,以至于只有最后一条数据得以保留。而仍会显示占用很大的内存是因为ES删除数据不是实时同步的。将上述配置去掉之后就能够正常显示了: