Solr快速回顾1---Solr使用指南

最新推荐文章于 2022-07-07 18:21:41 发布
最新推荐文章于 2022-07-07 18:21:41 发布
阅读量1k 收藏 1
点赞数
分类专栏： 搜索-Lucene-Solr-Sphinx


　　由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择：

  • 基于Lucene自己进行封装实现站内搜索：工作量及扩展性都较大，不采用。
  • 调用Google、Baidu的API实现站内搜索：同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。
  • 基于Compass+Lucene实现站内搜索：适合于对数据库驱动的应用数据进行索引，尤其是替代传统的like ‘%expression%’来实现对varchar或clob等字段的索引，对于实现站内搜索是一种值得采纳的方案。但在分布式处理、接口封装上尚需要自己进行一定程度的封装，暂时不采用。
  • 基于Solr实现站内搜索：封装及扩展性较好，提供了较为完备的解决方案，因此在门户社区中采用此方案，后期加入Compass方案。

 Solr简介

　　Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr 包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对 Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用 Solr 创建的索引。

 

Tomcat下Solr安装配置（或其自带的Jetty容器）

　　由于Solr基于java开发，因此Solr在windows及Linux都能较好部署使用，但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本，因此在生产部署时候建议安装在Linux上，测试时候可以在windows使用。

下面以Linux下安装配置Solr进行说明，windows与此类似：

wget http://apache.mirror.phpchina.com/tomcat/tomcat-6/v6.0.16/bin/apache-tomcat-6.0.16.zip 
unzip apache-tomcat-6.0.16.zip 
mv apache-tomcat-6.0.16 /opt/tomcat 
chmod 755 /opt/tomcat/bin/* 
wget http://apache.mirror.phpchina.com/lucene/solr/1.2/apache-solr-1.2.0.tgz 
tar zxvf apache-solr-1.2.0.tgz 
Solr的安装配置最为麻烦的是对solr.solr.home的理解和配置，主要有三种

  • 基于当前路径的方式：

cp apache-solr-1.2.0/dist/apache-solr-1.2.0.war /opt/tomcat/webapps/solr.war 
mkdir /opt/solr-tomcat 
cp -r apache-solr-1.2.0/example/solr/ /opt/solr-tomcat/ 
cd /opt/solr-tomcat 
/opt/tomcat/bin/startup.sh 
由于在此种情况下（没有设定solr.solr.home环境变量或JNDI的情况下），Solr查找./solr，因此在启动时候需要切换到/opt/solr-tomcat

  • 基于环境变量solr.solr.home：

在当前用户的环境变量中（.bash_profile）或在/opt/tomcat/catalina.sh中添加如下环境变量 
export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/opt/solr-tomcat/solr"

  • 基于JNDI配置

mkdir –p /opt/tomcat/conf/Catalina/localhost 
touch /opt/tomcat/conf/Catalina/localhost/solr.xml ，内容如下:

 

Xml代码   收藏代码
  1. <Context docBase="/opt/tomcat/webapps/solr.war" debug="0" crossContext="true" >                   
  2.     <Environment name="solr/home" type="java.lang.String" value="/opt/solr-tomcat/solr"override="true" />      
  3. </Context>  

 访问solr管理界面:http://ip:port/solr

 

Solr原理



 

Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在 Solr 中，用户通过向部署在servlet 容器中的 Solr Web 应用程序发送 HTTP 请求来启动索引和搜索。Solr 接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。通过 HTTP 以同样的方式返回响应。默认配置返回 Solr 的标准 XML 响应，也可以配置 Solr 的备用响应格式。

可以向 Solr 索引 servlet 传递四个不同的索引请求：

  • add/update 允许向 Solr 添加文档或更新文档。直到提交后才能搜索到这些添加和更新。
  • commit 告诉 Solr，应该使上次提交以来所做的所有更改都可以搜索到。
  • optimize 重构 Lucene 的文件以改进搜索性能。索引完成后执行一下优化通常比较好。如果更新比较频繁，则应该在使用率较低的时候安排优化。一个索引无需优化也可以正常地运行。优化是一个耗时较多的过程。
  • delete 可以通过 id 或查询来指定。按 id 删除将删除具有指定 id 的文档；按查询删除将删除查询返回的所有文档。

一个典型的Add请求报文:

Xml代码   收藏代码
  1. <add>  
  2.   
  3. <doc>   
  4.   <field name="id">TWINX2048-3200PRO</field>   
  5.   <field name="name">CORSAIR  XMS 2GB (2 x 1GB) 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) Dual Channel Kit System Memory - Retail</field>   
  6.   <field name="manu">Corsair Microsystems Inc.</field>   
  7.   <field name="cat">electronics</field>   
  8.   <field name="cat">memory</field>   
  9.   <field name="features">CAS latency 2, 2-3-3-6 timing, 2.75v, unbuffered, heat-spreader</field>   
  10.   <field name="price">185</field>   
  11.   <field name="popularity">5</field>   
  12.   <field name="inStock">true</field>   
  13. </doc>   
  14.   
  15. <doc>   
  16.   <field name="id">VS1GB400C3</field>   
  17.   <field name="name">CORSAIR ValueSelect 1GB 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) System Memory - Retail</field>   
  18.   <field name="manu">Corsair Microsystems Inc.</field>   
  19.   <field name="cat">electronics</field>   
  20.   <field name="cat">memory</field>   
  21.   <field name="price">74.99</field>   
  22.   <field name="popularity">7</field>   
  23.   <field name="inStock">true</field>   
  24. </doc>   
  25.   
  26. </add>   

 

一个典型的搜索结果报文：

Xml代码   收藏代码
  1. <response>  
  2.   
  3.     <lst name="responseHeader">   
  4.         <int name="status">0</int>   
  5.         <int name="QTime">6</int>   
  6.         <lst name="params">   
  7.             <str name="rows">10</str>   
  8.             <str name="start">0</str>   
  9.             <str name="fl">*,score</str>   
  10.             <str name="hl">true</str>   
  11.             <str name="q">content:"faceted browsing"</str>   
  12.         </lst>   
  13.     </lst>   
  14.   
  15.     <result name="response" numFound="1" start="0" maxScore="1.058217">   
  16.         <doc>   
  17.             <float name="score">1.058217</float>  
  18.             <arr name="all">   
  19.                 <str>http://localhost/myBlog/solr-rocks-again.html</str>   
  20.                 <str>Solr is Great</str>   
  21.                 <str>solr,lucene,enterprise,search,greatness</str>   
  22.                 <str>Solr has some really great features, like faceted browsing and replication</str>  
  23.             </arr>   
  24.             <arr name="content">   
  25.                 <str>Solr has some really great features, like faceted browsing   
  26.                 and replication</str>   
  27.             </arr>   
  28.             <date name="creationDate">2007-01-07T05:04:00.000Z</date>   
  29.             <arr name="keywords">   
  30.                 <str>solr,lucene,enterprise,search,greatness</str>   
  31.             </arr>   
  32.             <int name="rating">8</int>   
  33.             <str name="title">Solr is Great</str>   
  34.             <str name="url">http://localhost/myBlog/solr-rocks-again.html</str>   
  35.         </doc>   
  36.     </result>   
  37.   
  38.     <lst name="highlighting">   
  39.         <lst name="http://localhost/myBlog/solr-rocks-again.html">   
  40.             <arr name="content">   
  41.                 <str>Solr has some really great features, like <em>faceted</em>   
  42.                 <em>browsing</em> and replication</str>   
  43.             </arr>   
  44.         </lst>   
  45.     </lst>   
  46.   
  47. </response>  

 

关于solr的详细使用说明，请参考:http://wiki.apache.org/solr/FrontPage

 

Solr测试使用

Solr的安装包包含了相关的测试样例，路径在apache-solr-1.2.0/example/exampledocs

  • 使用shell脚本（curl）测试Solr的操作:

cd apache-solr-1.2.0/example/exampledocs 
vi post.sh，根据tomcat的ip、port修改URL变量的值URL=http://localhost:8080/solr/update ./post.sh *.xml

  • 使用Solr的java 包测试Solr的操作

查看帮助：java -jar post.jar –help 
提交测试数据： 
java -Durl=http://localhost:8080/solr/update -Ddata=files -jar post.jar  *.xml       
下面以增加索引字段liangchuan、url为例，说明一下Solr中索引命令的使用

  1. 修改solr的schema，配置需要索引字段的说明：
    vi /opt/solr-tomcat/solr/conf/schema.xml ,在<fields>中增加如下内容 
    <field name="liangchuan"  type="string" indexed="true" stored="true"/> 
    <field name="url"  type="string" indexed="true" stored="true"/>
  2. 创建增加索引请求的xml测试文件创建增加索引请求的xml测试文件
    touch /root/apache-solr-1.2.0/example/exampledocs/liangchuan.xml,内容如下:
    Xml代码   收藏代码
    1. <add>   
    2.   <doc>   
    3.     <field name="id">liangchuan000</field>   
    4.     <field name="name">Solr, the Enterprise Search Server</field>   
    5.     <field name="manu">Apache Software Foundation</field>   
    6.     <field name="liangchuan">liangchuan's solr "hello,world" test</field>   
    7.     <field name="url">http://www.google.com</field>   
    8.   </doc>   
    9. </add>   
     
  3. 提交索引请求

    cd apache-solr-1.2.0/example/exampledocs

        ./post.sh liangchuan.xml
  4. 查询
    通过solr的管理员界面http://localhost:8080/solr/admin查询 
    或通过curl 测试：
    export URL="http://localhost:8080/solr/select/"
    curl "$URL?indent=on&q=liangchuan&fl=*,score"
  5. Solr查询条件参数说明
    参数描述示例
    qSolr 中用来搜索的查询。可以通过追加一个分号和已索引且未进行断词的字段的名称来包含排序信息。默认的排序是 score desc，指按记分降序排序。

    q=myField:Java AND otherField:developerWorks; date asc 
    此查询搜索指定的两个字段并根据一个日期字段对结果进行排序。

    start将初始偏移量指定到结果集中。可用于对结果进行分页。默认值为 0。

    start=15 
    返回从第 15 个结果开始的结果。

    rows返回文档的最大数目。默认值为 10。rows=25
    fq

    提供一个可选的筛选器查询。查询结果被限制为仅搜索筛选器查询返回的结果。筛选过的查询由 Solr 进行缓存。它们对提高复杂查询的速度非常有用。

    		任何可以用 q 参数传递的有效查询，排序信息除外。
    hl当 hl=true 时，在查询响应中醒目显示片段。默认为 false。参看醒目显示参数上的 Solr Wiki 部分可以查看更多选项hl=true
    fl作为逗号分隔的列表指定文档结果中应返回的 Field 集。默认为 “*”，指所有的字段。“score” 指还应返回记分。

其中关于Solr查询相关的参数详细的信息请参看：
http://wiki.apache.org/solr/CommonQueryParameters
Solr的查询条件参数q的格式与Lucene相同，具体参看： 
http://lucene.apache.org/java/docs/queryparsersyntax.html

 

 

　　6.在门户社区中solr使用模式

在门户社区中需要使用solr，可采用如下模式：

参考资料

http://wiki.apache.org/solr/ 
http://www.ibm.com/developerworks/cn/java/j-solr1/ 
http://www.ibm.com/developerworks/cn/java/j-solr2/ 
http://www.xml.com/pub/a/2006/08/09/solr-indexing-xml-with-lucene-andrest.html?page=1 
http://lucene.apache.org/java/docs/queryparsersyntax.html 

　

单向街的夏天
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Solr使用入门指南 （四）
悲欢自饮随遇而安的博客
08-31 3969
solr软件介绍 在这出现了一个软件就是Solr的软件，下面就和大家一起来看看这个软件怎么用 上图为安装solr环境的软件的左面截图，首先来看看这幅图的讲解： 1、Dashboard：就是上面全图就是这个按钮的功能； 2、Logging：查看日志； 3、CoreAdmin：添加core用户，这个可重要也可不重要，默认是collection1，这个就是添加一个和collec
Solr使用入门指南 （六）
悲欢自饮随遇而安的博客
09-02 1808
solr处理查询结果 solr处理查询结果的方法有两种：一种是普通方法处理查询结果，另一种是用POJO处理查询结果，下面就来讲解一下具体的应用。 一、solr用普通方法处理查询结果     代码展示：     这个方法不是常用，因为在solr的软件里都有对应的查询功能，只不过这里把软件转换成Java代码了，话不多说，现在来看看具体代码，只了解一下即可。 代码如下： packa
solr控制台导出csv或者json数据
yangyang_VV的博客
07-07 954
solr导出csv，json数据
solr数据导出导入
qq_35338042的博客
12-05 1542
导出 http://172.21.20.206:8983/solr/ejavashopcore/select?q=*:*&wt=csv&rows=100000&start=0 wt=格式(csv、json) rows=100000&start=0 分页
企业级搜索引擎Solr使用入门指南
martinyuan
08-06 117
本文转贴自：http://chuanliang2007.spaces.live.com/blog/cns!E5B7AB2851A4C9D2!499.entry?wa=wsignin1.0   　　由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择： 基于Lucene自己进行封装实现站内搜索：工作量及扩展性...
solr全文搜索引擎
用情为我加冕
12-06 5963
solr全局搜索配置中文分词器 一. 简介 solr是以lucene为内核开发的企业级搜索应用 应用程序可以通过http请求方式来提交索引，查询索引，提供了比lucene更丰富的查询语言，是一个高性能，高可用环境全文搜索引擎。 二. 安装环境 下载 solr5版本以上的都是用于开发，不稳定。 文档位置 https://hub.docker.com/_/solr/ [root@localho...
Apache Solr（solr-8.11.1-src.tgz）
01-10
1. **全文索引**：Solr使用高效的倒排索引技术，能够快速地对大量文本数据进行搜索。 2. **分布式搜索**：Solr支持分布式部署，可以在多台服务器上分布数据，提供高可用性和水平扩展性。 3. **实时索引**：Solr能够...
solr-dataimport-scheduler.jar 可使用于solr7.x版本
03-07
要使用solr-dataimport-scheduler.jar，首先需要将该jar包部署到Solr服务器的lib目录下，这样Solr启动时会自动加载这个组件。然后，在Solr的配置文件（如solrconfig.xml）中，你需要定义一个DIH的配置，包括数据源...
solr-dataimport-scheduler.jar
08-31
经过测试可以适用solr7.4版本。如果低版本solr（6.*） 可以直接适用网上的solr-dataimport-scheduler 1.1 或者1.0版本。
solr-dataimporthandler-8.11.2.jar
03-11
solr 检索用包
ik-analyzer-solr：用于solr 7.x-8.x的ik-analyzer
02-03
ik-analyzer-solr 用于solr 7.x-8.x的ik-analyzer 简介 适应最新版本的solr 7＆8； 扩展IK首词库： 分词工具 词库中词的数量 最后更新时间 我知道 27.5万 2012年 毫米段 15.7万 2017年 字 64.2万 2014年 界坝 58.4...
CentOS7上导出solr数据到json文件中 及 solr如何添加、删除、查询数据
wudinaniya的博客
10-11 2078
一 Centos7 上导出solr数据到json文件中 开发需要，solr的数据需要导出来，放到另一套架构中，那么怎么将solr数据导出，放入json文件中？   导出solr数据，我们需要借助github上的一个maven项目。 1 安装工具： [root@solr1 local]# git clone https://github.com/freedev/solr-import-e...
搜索技术 Solr 入门详解
七弦桐
06-18 930
一、介绍 企业站内搜索技术选型 在一些大型门户网站、电子商务网站等都需要站内搜索功能，使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求，比如：搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等，这里就需要使用全文检索技术实现搜索功能。 1. 单独使用Lucene实现 单独使用Lucene实现站内搜索需要开发的工作量较大，主要表现在：索引维护、索引性能优化、搜索性能优...
批量导出csv文件的基本尝试
congbao6525的博客
03-20 270
开发同学前几天给我提了一个数据查询的需求，大体是查询某个表的数据，然后把查询结果以csv的形式提供给他们，一般来说这种定制查询，开发的同学都会提供好语句，DBA同学只需要简单执行即可。 每次看到语句，我都要简单评估...
全文检索引擎Solr(入门及其相关案例分析)
superliug的博客
12-01 797
什么是Solr 大多数搜索引擎应用都必须具有某种搜索功能，问题是搜索功能往往是巨大的资源消耗，并且它们会由于沉重的数据库加载而拖垮你的应用的性能。 这就是为什么转移负载到一个外部的搜索服务器的主要原因，Apache Solr是一个流行的开源搜索服务器，它通过使用类似REST的HTTP API，确保你能从几乎任何编程语言来使用solr。Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lu...
导出CSV文件工具类
kuyuyingzi的专栏
04-12 1332
 CSVUtils.java import java.io.BufferedWriter; import java.io.IOException; import java.io.OutputStream; import java.io.OutputStreamWriter; import java.util.List; import org.apache.commons.beanutils...
贴标机（双滑台式）_机械3D图可修改打包下载.zip
最新发布
08-17
贴标机（双滑台式）_机械3D图可修改打包下载.zip
Apache Solr 2020安全漏洞CVE-13957：未经授权的上传与RCE风险
例如，在Solr 7.7.0中，攻击者需要进入`/solr-7.7.0/server/solr/configsets/sample_techproducts_configs/conf`目录，并使用`zip-r-*>mytest.zip`命令打包恶意内容。 2. 攻击者通过`curl`发送带有`Content-Type: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值