solr
cyony
遇见更好的自己
展开
-
solr亿万级索引优化实践(四)
本篇是这个系类的最后一篇,但优化方案不仅于此,需要后续的研究与学习,本篇主要从schema设计的角度来做一些实践。原创 2017-03-15 18:59:38 · 3582 阅读 · 4 评论 -
solr亿万级索引优化实践(三)
本篇文章主要介绍下如何从客户端solrJ以及服务端参数配置的角度来提升索引速度。 solrJ6.0提供的Java客户端主要有下面几种接口:HttpSolrClient,ConcurrentUpdateSolrClient,CloudSolrClient。下面分别对这三种接口做一个简单的比较。HttpSolrClient在定义的时候需要明确指定一个solr节点路径,他在提交...原创 2017-03-14 17:03:09 · 5690 阅读 · 0 评论 -
solr亿万级索引优化实践(二)
通过上一篇的几个优化方案,我们的索引速度其实已经能得到很大的提升了,从最初的平均每台机器7000TPS/S,大概能到2.5WTPS/S。但是这个速度远远还达不到我们的需求,最关键的时候随着节点数增加并不能速度并不能线性增加,然后又做了许多其他方面的尝试,其中路由方式是比较大的一个方向,本篇将重点介绍这一方案。 前面介绍了solr在创建索引库的时候可以指定多个sha...原创 2017-03-14 14:28:35 · 5104 阅读 · 0 评论 -
solr亿万级索引优化实践(一)
海量数据的索引,第一个要解决的是数据存储的问题,solr提供数据存储平台有两种,第一个是本地磁盘,另一个是HDFS,我们可以通过solrhome的配置来实现。在本次实践中,我们选择的是本地磁盘,因为采用的solrcloud部署模式,本身就是多节点多机器,在存储上不会有问题,还有另一个重要的原因后面会讲到。下面讲讲具体从哪些方面做了实践。 solr版本:solr6.0.0;主机:...原创 2017-03-13 16:17:17 · 13028 阅读 · 0 评论 -
调用lucene向solr建索引实践
Solr的底层是基于Lucene索引结构,Lucene是一套信息检索工具包,但并不包含搜索引擎系统,它包含了索引结构、读写索引工具、相关性工具、排序等功能。所以,只要是相同版本的Solr和Lucene其用的索引文件是兼容的,solrconfig.xml有使用Lucene的版本信息。如果我们直接利用Lucene来写Solr的索引目录,可以减去很多网络开销,并且减去Solr除了索引以外功能做的额外开销,从提升建索引的角度,有不错的提升。原创 2017-03-21 16:04:06 · 1192 阅读 · 1 评论 -
solr之空间搜索剖析
在美团CRM系统中,搜索商家的效率与公司的销售额息息相关,为了让BD们更便捷又直观地去搜索商家,美团CRM技术团队基于Solr提供了空间搜索功能,其中移动端周边商家搜索和PC端的地图模式搜索功能为BD们的日常工作带来了很大的便利,大大提升了BD们的工作效率。在本文中,首先对空间搜索的原理进行简单介绍,然后再结合具体的业务场景去分享美团使用空间搜索的实践。转载 2017-09-05 14:52:25 · 953 阅读 · 0 评论 -
Solr卸载、加载索引数据
本篇说明主要描述的是从solr中卸载索引数据已经加载索引数据的方法。卸载索引数据主要是为了减少历史数据对磁盘的空间的占用,以及提高当前solr服务的效率;加载索引数据主要是为了历史的数据资料能够复用,进行回溯。下面,将介绍执行的具体步骤。卸载索引数据 1、首先,我们先查看Solr的admin界面,浏览下都有哪些collection(collection类似于数据库中的表),在浏览器中...原创 2017-10-17 17:06:41 · 1843 阅读 · 0 评论