ElasticSearch--------->批量索引------->推荐方法、注意事项、性能优化

ES批量索引：

• 概述：建议使用bulk API来创建索引它比你一次给一条日志创建一次索引快多了。
  • 使用bulk API主要要考虑两个事情： 
    • 1)最佳的批量大小。它取决于很多你的设定。如果要说起始值的话，可以参考一下pyes里的默认值，即400。
    • 2)给批量操作设定时器。如果你添加日志到缓冲，然后等待它的大小触发限制以启动批量插入，千万确定还要有一个超时限制作为大小限制的补充。否则，如果你的日志量不大的话，你可能看到从日志发布到出现在elasticsearch里有一个巨大的延时。　　
• 使用bulk API进行批量索引的编程思路：
  • 概述：ES提供了两种bulk API，你可以使用BulkRequestBuilder编写批量索引程序，也可以通过BulkProcessor来编写批量文档的索引程序。
  • 方法一，使用BulkRequestBuilder编写批量索引程序
    • 参考资料：官方例程
    • 我编写的示例程序：　　
  • 方法二，使用BulkProcessor来编写批量文档的索引程序
    • 参考资料：官方例程　　
    • 我编写的示例程序：
      　　

转载于:https://www.cnblogs.com/lxrm/p/7278092.html