sphinx
文章平均质量分 78
liangpz521
这个作者很懒,什么都没留下…
展开
-
php内存泄漏的解决方案(在读取大数量时遇到的问题 sphinx查询)
前言:持续我一贯的标题党作风,说说例子解决方案,没有深入探讨。 情景:线上图片服务压缩的图片品质(100),缩略图品质(100)占用了很多空间,导致后来又55个文件了(占用空间160G)才发现这个问题。现在需要解决的是把这部分压缩个低品质的缩略图节省空间(当然在这个硬盘白菜价的时代搞这样的问题没这个必要,我这里讨论的不是节省空间是想找出内存消耗问题)。我用php脚本重新生成缩略图的时候,通原创 2013-03-29 16:41:39 · 1319 阅读 · 0 评论 -
sphinx实现模糊查询
一、需求1.假设能做网有两个子域名:blog.nengzuo.com, www.nengzuo.com, 我需要在搜索.nengzuo.com时,能把包含两个子域名和自己的都搜出来。2.因为量比较大(亿级),所以要求尽量使索引速度最快,占用资源最少。二、思路A.首先,因为域名中含有字符'-'和'.',所以需要在charset_table中把这俩字符加进去。转载 2014-04-04 13:38:58 · 3993 阅读 · 0 评论 -
在 CentOS 6.0 64bit 上搭建Sphinx环境
此配置本人经过测试CentOS 6.0 64bit 上搭建Sphinx环境一、获取相关开源程序1. 利用 CentOS 系统自带的yum命令安装、升级所需的程序库1sudo -s2LANG=C3yum install make gcc原创 2013-03-27 11:28:12 · 1285 阅读 · 0 评论 -
Sphinx 搜索性能优化 —— 多线程搜索
原文章 http://www.mysqlperformanceblog.com/2013/01/16/sphinx-search-performance-optimization-multi-threaded-search/MySQL、Sphinx及许多数据库和搜索引擎中的查询是单线程的。比如说,在一台32个CPU核心、16个磁盘的R910服务器上执行一个查询,它最多只会用到一个核心和一个原创 2013-06-06 10:04:20 · 1555 阅读 · 0 评论 -
关于sphinx+PHP在高并发时响应性能低下的解决办法
经过多次压力测试,发现sphinx在高并发时出现负载突然提升,并且响应速度明显下降。经过多方面的排查,发现是由于PHP与sphinx自带的searchd进行socket的连接之后,系统内存有大量的Time_Wait连接,所以我们猜测为searchd的socket连接未及时关闭,造成大量请求堆积,使得PHP客户端与sphinx的请求效率低下。由于searchd是编译好的,无法进行OPT设置,故我做了原创 2013-05-17 13:23:22 · 1523 阅读 · 0 评论 -
Sphinx增量索引的配置
一.sphinx增量索引的设置 数据库中的已有数据很大,又不断有新数据加入到数据库中,也希望能够检索到。全部重新建立索引很消耗资源,因为我们需要更新的数据相比较而言很少。例如。原来的数据有几百万条,而新增的只是几千条。这样就可以使用“主索引+增量索引”的模式来实现近乎实时更新的功能。 这个模式实现的基本原理是设置两个数据源和两个索引,为那些基本不更新的数据建立主索引,而原创 2013-04-28 21:25:15 · 953 阅读 · 0 评论 -
sphinx根据搜索字段权重设置
有一张表:包含的字段有,(行业,地区,职位)须要对这3个字段查询。然后按照字段的命中排序。不管一个字段有多少数据,对于一个字段只要命中了就算一次,然后对应的不同字段乘以对应字段应该的权重。比如行业命中那么权重*1,地区命中那么权重*2,职位命中那么权重*2总权重=(行业字段命中*1)+(地区字段命中*2)+(职位命中*2)然后按照总权重进行排序。错误:我原创 2013-03-24 13:30:01 · 1830 阅读 · 0 评论 -
sphinx 搜索和更新状态两个功能使用
包括搜索和更新状态两个功能使用。//实例化 require_once("sphinxclient.class.php"); $sphinx = new SphinxClient; //搜索功能 $mode = SPH_MATCH_EXTENDED2; //匹配模式 $ranker = SPH_RANK_PROXIMITY_BM25; //统计相关度计算模式,仅使用原创 2013-03-24 15:08:36 · 1888 阅读 · 0 评论 -
sphinx SetFilter 单个过滤器最大过滤值数目
sphinx 单个字段的 SetFilter 数组个数 取值范围 : 0 - 4096例如 在用到 $t->SetFilter('itemid',$arr); 时 如果$arr的长度超过4096时 查询结果集合将返回 false 只所以这样是因为这个数组的长度超过了max_filter_values默认的长度 要想使用这个查询条件 就得如果超出范围,sphi原创 2013-03-23 17:11:55 · 1289 阅读 · 0 评论 -
在sphinx中实现类似mysql like %var%的方法
在做了多次对sphinx各种情况的检索下。发现我们可以充分利用sphinx实现很多功能。比如替换 mysql的like 。而不需要全文检索功能在sphinx中,默认设置是对单词(英语)进行特定字符(如:/,空格等)做分割的全文检索功能。所以,如果我们要在文章中(textfield)检索某个特定的字词,只能针对 某个单词进行检索。比如 搜索test,出现的只能是 单个单词 test。如果要实现原创 2013-03-22 22:32:56 · 1994 阅读 · 0 评论 -
sphinx mmseg mysql 中文分词
一、安装所需文件mmseg-0.7.3.tar.gz 中文分词wget http://www.coreseek.com/uploads/sources/mmseg-0.7.3.tar.gzsphinx-0.9.8-rc2.tarmysql-5.1.7-rc.tar.gz mysql-5.1.7源代码http://dev.mysql.com/downloads/sph原创 2013-03-22 20:48:52 · 925 阅读 · 0 评论 -
Sphinx搜索语法
参考:http://www.coreseek.com/uploads/pdf/sphinx_doc_zhcn_0.9.pdf1.匹配模式有如下可选的匹配模式:SPH_MATCH_ALL, 匹配所有查询词(默认模式)SPH_MATCH_ANY, 匹配查询词中的任意一个SPH_MATCH_PHRASE, 将整个查询看作一个词组,要求按顺序完原创 2013-03-23 10:10:27 · 1439 阅读 · 0 评论 -
安装sphinx扩展
2、安装sphinx扩展 #wget http://pecl.php.net/get/sphinx-1.0.4.tgz #tar xvzf sphinx-1.0.4.tgz #cd sphinx-1.0.4 #/usr/local/php/bin/phpize #./configure --with-php-config=/usr/local/php/bin/php-原创 2013-03-22 20:42:44 · 847 阅读 · 0 评论 -
sphinx indexer索引合成时去旧和过滤办法 及指定索引中搜索
过滤:合并两个已有的索引比重新对所有数据做索引更有效率,而且有时候必须这样做(例如在“主索引+增量索引”分区模式中应合并主索引和增量索引,而不是简单地重新索引“主索引对应的数据)。因此indexer有这个选项。合并索引一般比重新索引快,但在大型索引上仍然不是一蹴而就。基本上,待合并的两个索引都会被读入内存一次,而合并后的内容需要写入磁盘一次。例如,合并100GB和1GB的两原创 2014-04-11 17:08:48 · 1116 阅读 · 0 评论