spark 向elasticsearch 优化写入数据
一、前言 近期有个项目用spark向es(版本5.x)写入数据,该项目是离线任务,每天创建一个index存数据,随着数据量的增大(2亿+,峰值有5亿+)。性能出现问题:写入时间过长,es响应不过来等 二、 调整策列 1.由于该项目是离线任务,并不是需要实时查询,可以将es中的near real-time search属性 设置较高的阈值30s或者-1 。默...
原创
2018-07-14 20:11:08 ·
8805 阅读 ·
7 评论