浅谈Solr和ElasticSearch建索引性能优化策略

[img]http://dl2.iteye.com/upload/attachment/0117/0198/592e3580-abdb-387b-8ff5-b3e8204bc899.jpg[/img]

[size=medium]

由于Solr和ElasticSearch都是基于Lucene构建的，所以他们之间有很大程度的相似性，故而他们的一些优化策略基本也是通用的，面对越来越多的海量数据，如何优化全量索引的写入性能呢？ 散仙简单总结了下面几个方向的优化策略，如有疑问，欢迎拍砖。


（一）硬件优化：
（1）CPU加大，有利于并发写入
（2）内存提升，加大写入缓冲
（3）磁盘IO，使用SSD或者IO读写更快的磁盘
（4）网络IO，保证客户端与服务端的通信带宽充足

（二）服务端框架优化：
（1）加大shard的数目，理论上shard越多，写入速度越快
（2）设置较大的索引flush触发条件，ramBufferSizeMB 或者 maxBufferedDocs
（3）写索引时，关闭副本，因为同步索引会大大降低写入速度
（4）监控GC，调整JVM参数
如果Full GC频繁，加大JVM堆内存，
如果Yong GC频繁，加大新生代的比例，如果使用的是CMS垃圾收集器，必要时，可以关闭survive区，避免survive区和Eden区来回拷贝
（5）尽量使用稳定的新版本如JDK和框架本身
（6）内存大的，可以尝试G1垃圾收集器


（三） 客户端优化
（1）如果公司有大数据部门，可以使用Hadoop或者Spark分布式集群构建索引
（2）如果公司没有大数据产品，可以使用多线程或者多进程并行构建索引
（3）使用批量提交
（4）减少commit次数，让服务端控制flush索引，索引完成之后，可手动commit一次。

[/size]
[b][color=green][size=large]
有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。
技术债不能欠，健康债更不能欠， 求道之路，我们同行。
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg[/img]