Sphinx的基础知识以及安装

含义: Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。
特性: 1. 高速索引 (在新款CPU上,近10 MB/秒) 2.高速搜索 (2-4G的文本量中平均查询速度不到0.1秒) 3.高可用性 (单CPU上最大可支持100 GB的文本,100M文档)
4.提供良好的相关性排名 支持分布式搜索 5.提供文档摘要生成
6.提供从MySQL内部的插件式存储引擎上搜索 支持布尔,短语, 和近义词查询
7.支持每个文档多个全文检索域(默认最大32个) 8.支持每个文档多属性; 支持断词; 支持单字节编码与UTF-8编码;
Coreseek
含义: coreseek 是一款基于 sphinx 开源的搜索引擎,专门为用户提供免费的中文全文检索系统, coreseek 被称为带有中文分词的 sphinx.
与sphinx的不同: coreseek 增加了一个带有中文分词 的词库;


在window下安转 coreseek
1.首先将 coreseek-3.2.14-win32.zip  解压在自己的任意一个盘中
打开 coreseek-3.2.14-win32.zip分析下它的结构

2. 首先进入 etc 目录打开 csft_mysql.conf 文件


3. 打开 cmd 命令行进入该目录
开始生成索引文件
.\bi n\indexer.exe - c .\etc\csft_mysql.conf --all
coreseek的搜索服务打开
.\bin\searchd.exe -c .\etc\csft_mysql.conf
4.打开 coreseek 文件目录的 api 目录找到 sphinxapi.php 件复制到你的域名文件下
同时在建一个php文件 代码如下:
<?php
header ( "content-type:text/html;charset=utf8" );
include './sphinxapi.php' ; //包含sphinxapi类
$sphinx = new SphinxClient(); //实例化
$sphinx ->SetServer( '127.0.0.1' , 9312 );//链接
$res = $sphinx ->Query( "北京" , "*" );//查询的字段第二参数是你配置文件里面写得规则这里是*就会匹配所有规则
print_r ( $res );//打印数据
?>

L amp环境下安装及使用 coreseek
先把coreseek-3.2.14.tar.gz用 fz上传到 /usr/local/src
打开 linux 首先安装如下依赖包
yum -y install m4 autoconf automake libtool
yum -y install gcc gcc-c++ wget
yum -y install mysql-devel
yum -y install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel
进入/usr/local/src下
tar xzvf coreseek-3.2.14.tar.gz      解压命令
cd coreseek-3.2.14       进入目录
cd mmseg-3.2.14/         进入中文分词插件
./bootstrap  
./configure --prefix=/usr/local/mmseg3  检测配置
make   && make install          编译 &&  编译安装
cd ../csft-3.2.14/           进入配置目录
sh buildconf.sh   执行脚本
./configure --prefix=/usr/local/coreseek --without-python --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/--with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql --host=arm 
这条命令需要空两格
修改文件
用fz 在 /usr/local/src/coreseek-3.2.14/csft-3.2.14/src/ sphinxexpr.cpp中修改代码
T val = ExprEval ( this->m_pArg, tMatch ).....修改为
   T val = this->ExprEval ( this->m_pArg, tMatch )
make
make install
cd /usr/local/coreseek/etc   
输入ls会看到3个文件
example.sql  sphinx.conf.dist  sphinx-min.conf.dist
vi sphinx.conf 粘下面代码,在改一些配置
source src1
{
type = mysql
sql_host = 192.168.214.128
sql_user = root
sql_pass = root
sql_db = test
sql_port = 3306 # optional, default is 3306
sql_sock                              = /tmp/mysql.sock
sql_query_pre = SET NAMES utf8
sql_query =
SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content \FROM documents
sql_attr_uint = group_id
sql_attr_timestamp = date_added
sql_query_info = SELECT * FROM documents WHERE id=$id
}
index test1
{
source = src1
path = /usr/local/coreseek/var/data/test1
docinfo = extern
charset_type = zh_cn.utf-8
mlock = 0
morphology = none
min_word_len = 1
html_strip = 0
charset_dictpath = /usr/local/mmseg3/etc/
ngram_len                    = 0
}
indexer
{
mem_limit = 32M
}
 
 
searchd
{
port = 9312
log = /usr/local/coreseek/var/log/searchd.log
query_log = /usr/local/coreseek/var/log/query.log
read_timeout = 5
max_children = 30
pid_file = /usr/local/coreseek/var/log/searchd.pid
max_matches = 1000
seamless_rotate = 1
preopen_indexes = 0
unlink_old = 1
}
 
生成索引:
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/sphinx.conf --all 

/usr/local/coreseek/var/data目录中看到多出一些文件
测试命令:
/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/sphinx.conf number 
(这是开启sphinx的命令行搜索就是说 number是你要查询的数据名称)
 
 /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/sphinx.conf
 
(searchd是开启sphinx的搜索服务功能)

 
Php操作linux上的sphinx
 
在站点域名目录下创建一个文件列如test.php
在test.php文件中写入如下内容;
(注意与test同级需要将本身的sphinxapi类加载进来)
<?php
header("content-type:text/html;charset=utf8");
include'./sphinxapi.php';
$sphinx= new SphinxClient();
$sphinx->SetServer('你linux上的ip地址',9312);
$res=$sphinx->Query("搜索字段","*");  //这里的*代表匹配所有定义好的规则
print_r($res);
?>



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1 目标检测的定义 目标检测(Object Detection)的任务是找出图像中所有感兴趣的目标(物体),确定它们的类别和位置,是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态,加上成像时光照、遮挡等因素的干扰,目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务,目标定位和目标分类。首先检测图像中目标的位置(目标定位),然后给出每个目标的具体类别(目标分类)。输出结果是一个边界框(称为Bounding-box,一般形式为(x1,y1,x2,y2),表示框的左上角坐标和右下角坐标),一个置信度分数(Confidence Score),表示边界框中是否包含检测对象的概率和各个类别的概率(首先得到类别概率,经过Softmax可得到类别标签)。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类:Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段,主要用于生成潜在的目标候选框(Bounding-box proposals)。这个阶段通常使用卷积神经网络(CNN)从输入图像中提取特征,然后通过一些技巧(如选择性搜索)来生成候选框。第二个阶段是分类和位置精修阶段,将第一个阶段生成的候选框输入到另一个 CNN 中进行分类,并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高,缺点是速度相对较慢。 常见Tow stage目标检测算法有:R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值,并利用这些特征值进行目标的分类和定位,不需要生成Region Proposal。这种方法的优点是速度快,因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低,因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有:YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框,对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制,作用是从众多预测边界框中挑选出最具代表性的结果,这样可以加快算法效率,其主要流程如下: 设定一个置信度分数阈值,将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序,选中值最大的框 遍历其余的框,如果和当前框的重叠面积(IOU)大于设定的阈值(一般为0.7),就将框删除(超过设定阈值,认为两个框的里面的物体属于同一个类别) 从未处理的框中继续选一个置信度分数最大的,重复上述过程,直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度,当预测边界框和真实边界框差异很小时,或重叠度很大时,表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度,是评估目标检测模型效果的最重要指标,这个值介于0到1之间,且越大越好。mAP是AP(Average Precision)的平均值,那么首先需要了解AP的概念。想要了解AP的概念,还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值(Confidence Threshold)和IoU阈值(一般设置为0.5,也会衡量0.75以及0.9的mAP值): 当一个预测边界框被认为是True Positive(TP)时,需要同时满足下面三个条件: Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3,则认为是False Positive(FP)。当对应同一个真值有多个预测结果时,只有最高置信度分数的预测结果被认为是True Positive,其余被认为是False Positive。 Precision和Recall的概念如下图所示: Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值,可以获得多组Precision和Recall,Recall放X轴,Precision放Y轴,可以画出一个Precision-Recall曲线,简称P-R
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值