![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
搜索引擎服务器集群
李纲明
热忠于互联网、移动互联网技术交流和分享
展开
-
Sphinx高性能的搜索引擎(简单、强大、实用)
一、性能非常出色 150万条记录一两分钟就索引完毕,2-4GB以内的文本检索速度不到0.1秒钟。ferret也望尘莫及,更不要说lucene了。 二、和数据库集成性很好 Sphinx通过配置文件可以自行读取数据库信息做索引,不依赖任何外部的应用程序,并且可以作为一个daemon进程启动,支持分布式检索,并发响应性能很好。因此很多过去使用ferret的人因为并发检索的问题都改用Sphinx了。 三、原创 2010-03-12 11:44:00 · 6103 阅读 · 2 评论 -
Sphinx与mysql和sphinx与mongodb分别结合通过xmlpipe2 生成索引库的方法
安装sphinx索引配置文件内容如下:/usr/local/etc/csft.conf############### sphinx生成Mysql索引库数据库配置 #######################################Base sourcesource base_main{ type = mysql sql_host原创 2012-06-05 19:24:59 · 4020 阅读 · 0 评论 -
mongodb集群分片部署实践
第一步.启动相应的Mongod进程mongod --fork --slave --port 27017 --replSet mySet --rest --dbpath /data/dbmongo/shard11 --logpath /data/dbmongo/shard11.logmongod --fork --slave --port 27018 --replSet mySet --r原创 2012-05-03 10:18:56 · 1496 阅读 · 0 评论 -
Mongodb的带用户验证replica set配置
mkdir -p /data/data/dbmaster /data/data/dbslave1 /data/data/dbslave2 /data/data/dbslave3mongod --fork --auth --master --port 27017 --dbpath /data/data/dbmaster --logpath /data/data/dbmaster原创 2012-04-18 18:12:39 · 3944 阅读 · 0 评论 -
sphinx搜索集群搭建示例(多产品)
每个产品项目分配一个搜索配置,每个配置分不同的数据库或端口区分不同的产品,每个配置启动一个守户进程配置文件project1_csft.conf示例:#Test sourcesource test_main{ type = mysql sql_host = 192.168.1.100 sql_user原创 2011-12-16 15:35:46 · 2963 阅读 · 0 评论 -
基于MongoDB的php应用开发
一、连接数据库主机连接本地主机,端口为27017:$connection = new Mongo();连接远程主机,端口为默认端口:$connection= new Mongo( "192.168.2.1" );连接远程主机,端口为指定端口:原创 2011-08-02 15:16:49 · 1459 阅读 · 0 评论 -
世界顶尖PHP站Facebook后台技术探秘
Hadoop and HiveHadoop的是一个开源的map-reduce实现,使得它可以在进行大数据上进行运算。 Facebook的使用这个进行数据分析(而我们都知道,Facebook已经大量的数据)。 Hive就是发源于Facebook,使得对于Hadoop使用的SQL查询成为可能,从而是其更容易对非程序员使用。Hadoop和Hive是开源的(Apache项目),有为数众多的追随者,例如雅虎和Twitter。ThriftFacebook使用的几种不同的语言和不同的services。 PHP是最终用于前转载 2011-05-31 09:05:00 · 1039 阅读 · 0 评论 -
sphinx索引生成
<br />/usr/local/csft/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf video原创 2010-08-16 15:22:00 · 1749 阅读 · 0 评论 -
亿级数据的高并发通用搜索引擎架构设计
最新的搜索引擎架构,目前已经写出“搜索查询接口”和“索引更新接口”的beta版。经测试,在一台“奔腾四 3.6GHz 双核CPU、2GB内存”的普通PC机,7000万条索引记录的条件下,“搜索查询接口”平均查询速度为0.0XX秒(查询速度已经达到百度、谷歌、搜狗、中国雅虎等搜索引擎的水平,详见文章末尾的“附2”),并且能够支撑高达5000的并发连接;而“索引更新接口”进行数据分析、入队列、返回信息转载 2010-04-05 11:11:00 · 1659 阅读 · 0 评论 -
流媒体CDN解决方案
创智数码科技股份有限公司一直专注于流媒体领域的增值业务应用软件开发,致力于为流媒体服务运营商提供一流的、专业的视频应用软件和流媒体整体解决方案。 以多年的流媒体服务软件开发经验为背景,总结了多次省级电信运营级流媒体项目的建设经验,深入、前瞻性的分析了流媒体业务当前和未来的业务需求。创智数码科技股份有限公司推出了以高性能银鲨流媒体服务器为核心,面向电信运营商的PowerSSP转载 2010-03-20 18:46:00 · 2881 阅读 · 0 评论 -
linux 下搜索引擎sphinx下csft的安装方法
1.下载:http://www.coreseek.cn/uploads/csft/3.1/Source/csft-3.1.tar.gz 2.安装./configure --prefix=/usr/local/csft --with-python --with-mysql=/usr/local/mysql --with-mmseg=/usr/local/mmseg --with-原创 2010-03-15 22:40:00 · 2940 阅读 · 0 评论 -
基于Sphinx+MySQL的千万级数据全文检索(搜索引擎)架构设计
前言:本文阐述的是一款经过生产环境检验的千万级数据全文检索(搜索引擎)架构。本文只列出前几章的内容节选,不提供全文内容。 在DELL PowerEdge 6850服务器(四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存)、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测,单表1000万条记转载 2010-03-15 16:44:00 · 1229 阅读 · 0 评论 -
linux 下sphinx的中文分词包mmseg安装
第一步: 安装相关的外部关联的包# sudo apt-get install autoconf automake autotools-dev cpp curl gawk gcc lftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtool libncurses5-dev# sudo aptitude in原创 2010-03-15 22:33:00 · 4170 阅读 · 0 评论 -
linux 下编辑 vi /etc/bash.bashrc
通过编辑linux的/etc/bash.bashrc文件来快速定位各个目录alias mysqlw="mysql -uroot -p123456"alias usr="cd /usr/local"alias src="cd /usr/src"alias sphinx="cd /usr/local/sphinx"alias apahce="cd /usr/local/apa原创 2010-03-13 15:48:00 · 4438 阅读 · 0 评论 -
用PHP构建自定义搜索引擎Sphinx
1. 创建索引$ sudo /usr/local/bin/indexer --config /usr/local/etc/sphinx.conf --allSphinx 0.9.7Copyright (c) 2001-2007, Andrew Aksyonoffusing config file /usr/local/etc/sphinx.conf...indexing i原创 2010-03-13 00:48:00 · 1265 阅读 · 0 评论 -
sphinx启动searchd进程出现search error failed to open No such file or directory
在安装好sphinx 后,启动 searchd 服务时总是提示如下错误: index 'test': search error: failed to open /var/data/test.sph: sphinx 错误解决 index 'test': search error: failed to open /var/data/test.sph:No such file or director原创 2012-06-06 12:44:55 · 6956 阅读 · 0 评论