Apache Solr初体验四

最新推荐文章于 2024-07-19 14:02:11 发布
最新推荐文章于 2024-07-19 14:02:11 发布
阅读量1.1k 收藏
点赞数
分类专栏： Solr 文章标签： solr apache filter date class string
前几次我们讲到了solr的基本用法和配置文件，接下来就开始进入我们真正的代码之旅啦。

1）首先以一个简单的程序来开头：

Java代码   收藏代码
  1. public static void main(String[] args) throws SolrServerException, IOException, ParserConfigurationException, SAXException{  
  2.         
  3.           //设置solr.home，注意这时通过环境变量是solr.solr.home  
  4.       System.setProperty("solr.solr.home","E:\\solr");  
  5.           //初始化容器，让它加载solr.home的配置文件  
  6.       CoreContainer.Initializer initializer = new CoreContainer.Initializer();  
  7.       CoreContainer coreContainer = initializer.initialize();  
  8.         
  9.       EmbeddedSolrServer solrServer = new EmbeddedSolrServer(coreContainer,"");  
  10.       //构造参数列表  
  11.       SolrQuery solrQuery = new SolrQuery();   
  12.       Map<String,String> map = new HashMap<String,String>();  
  13.       map.put(FacetParams.FACET_DATE, "manufacturedate_dt");  
  14.       map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z");  
  15.       map.put(FacetParams.FACET_DATE_END,"2010-01-01T00:00:00Z");  
  16.       map.put(FacetParams.FACET_DATE_GAP,"+1YEAR");  
  17.       map.put("indent","on");  
  18.       map.put("wt","xml");  
  19.       map.put("hl.fl","name");  
  20.       SolrParams params = new MapSolrParams(map);  
  21.       solrQuery.add(params);  
  22.       solrQuery.setFacet(true);  
  23.       solrQuery.setFields("name,price,score");  
  24.       solrQuery.setQuery("solr");  
  25.       solrQuery.setSortField("price",SolrQuery.ORDER.asc);  
  26.       solrQuery.setHighlight(true);  
  27.         
  28.       System.out.println(solrQuery.toString());  
  29.             
  30.       QueryResponse queryResponse = solrServer.query(solrQuery);   
  31.       System.out.println(queryResponse.toString());  
  32.       System.out.println("共找到:"+queryResponse.getResults().getNumFound()+"个结果");  
  33.           //解析返回的参数  
  34.       SolrDocumentList sdl = (SolrDocumentList)queryResponse.getResponse().get("response");  
  35.       for (int i = 0; i< sdl.size(); i++){  
  36.           Object obj = sdl.get(i).get("manufacturedate_dt");  
  37.           String date = "";  
  38.           if (obj!= null){  
  39.               date = new SimpleDateFormat("yyyy-MM-dd").format((Date)obj);  
  40.           }  
  41.             
  42.           System.out.println(((SolrDocument)sdl.get(i)).get("name")+":"+date+":"+(sdl.get(i).get("price")));  
  43.       }  
  44.   }  
public static void main(String[] args) throws SolrServerException, IOException, ParserConfigurationException, SAXException{
	  
          //设置solr.home，注意这时通过环境变量是solr.solr.home
	  System.setProperty("solr.solr.home","E:\\solr");
          //初始化容器，让它加载solr.home的配置文件
	  CoreContainer.Initializer initializer = new CoreContainer.Initializer();
	  CoreContainer coreContainer = initializer.initialize();
	  
	  EmbeddedSolrServer solrServer = new EmbeddedSolrServer(coreContainer,"");
	  //构造参数列表
	  SolrQuery solrQuery = new SolrQuery(); 
	  Map<String,String> map = new HashMap<String,String>();
	  map.put(FacetParams.FACET_DATE, "manufacturedate_dt");
	  map.put(FacetParams.FACET_DATE_START,"2004-01-01T00:00:00Z");
	  map.put(FacetParams.FACET_DATE_END,"2010-01-01T00:00:00Z");
	  map.put(FacetParams.FACET_DATE_GAP,"+1YEAR");
	  map.put("indent","on");
	  map.put("wt","xml");
	  map.put("hl.fl","name");
	  SolrParams params = new MapSolrParams(map);
	  solrQuery.add(params);
	  solrQuery.setFacet(true);
	  solrQuery.setFields("name,price,score");
	  solrQuery.setQuery("solr");
	  solrQuery.setSortField("price",SolrQuery.ORDER.asc);
	  solrQuery.setHighlight(true);
	  
	  System.out.println(solrQuery.toString());
          
	  QueryResponse queryResponse = solrServer.query(solrQuery); 
	  System.out.println(queryResponse.toString());
	  System.out.println("共找到:"+queryResponse.getResults().getNumFound()+"个结果");
          //解析返回的参数
	  SolrDocumentList sdl = (SolrDocumentList)queryResponse.getResponse().get("response");
	  for (int i = 0; i< sdl.size(); i++){
		  Object obj = sdl.get(i).get("manufacturedate_dt");
		  String date = "";
		  if (obj!= null){
			  date = new SimpleDateFormat("yyyy-MM-dd").format((Date)obj);
		  }
		  
		  System.out.println(((SolrDocument)sdl.get(i)).get("name")+":"+date+":"+(sdl.get(i).get("price")));
	  }
  }

  这时我们所用到的是EmbeddedSolrServer，它是用于嵌入式地solr服务，这里我们不需要向外提供服务，所以我们就用到这个。另外有一个

CommonsHttpSolrServer这个类是用于发送指令的服务，例如我们需要发送HTTP命令来查询，就可以用这个。

下面我们分析一下代码，首先，我们设置了一个环境变量的名称为solr.solr.home，是这个，你没看错，确实是要这样。接下来我们初始化容器，让它加载solr.home的配置文件等。接下来的一系统代码就是构造参数列表。

我们构造完成后的参数列表是这样的：facet.date.start=2004-01-01T00%3A00%3A00Z&indent=on&facet.date=manufacturedate_dt&hl.fl=name&facet.date.gap=%2B1YEAR&wt=xml&facet.date.end=2010-01-01T00%3A00%3A00Z&facet=true&fl=name%2Cprice%2Cscore&q=solr&sort=price+asc&hl=true

跟我们直接在浏览器输入的不太一样，因为它是进行过编码的。构造完成后我们就可以用solrServer进行查询了。

查询得到的结果是JSON格式的，注意，通过程序来查询得到的都是JSON格式，而不是XML格式，不过这样更好，方便我们进行接下来的解析。

接下来的代码就是解析内容啦，应该很容易看懂的。

2）接下来的我们就尝试自己写一个程序来进行索引，而不用post.jar。

程序代码如下：

Java代码   收藏代码
  1. public static void main(String[] args) throws IOException, ParserConfigurationException, SAXException{  
  2.           
  3.         System.setProperty("solr.solr.home","e:\\solrIndex");  
  4.           
  5.                 //这下面三行代码主要是用于加载配置文件  
  6.         SolrConfig solrConfig = new SolrConfig("E:\\solrIndex\\conf\\solrconfig.xml");  
  7.         FileInputStream fis = new FileInputStream("E:\\solrIndex\\conf\\schema.xml");  
  8.         IndexSchema indexSchema = new IndexSchema(solrConfig,"solrconfig",fis);  
  9.           
  10.         SolrIndexWriter siw = new SolrIndexWriter("solrIndex","E:\\solrIndex",new StandardDirectoryFactory()  
  11.                 ,true,indexSchema);  
  12.         Document document = new Document();  
  13.         document.add(new Field("text","测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));  
  14.         document.add(new Field("test_t","再测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));  
  15.         siw.addDocument(document);  
  16.           
  17.         siw.commit();  
  18.         siw.close();  
  19.           
  20.         SolrCore solrCore = new SolrCore("E:\\solrIndex",indexSchema);  
  21.           
  22.         SolrIndexSearcher sis = new SolrIndexSearcher(solrCore,indexSchema,"solrIndex",  
  23.                         new StandardDirectoryFactory().open("E:\\solrIndex"),true);  
  24.         TopDocs docs = sis.search(new TermQuery(new Term("test_t","再")),1);  
  25.           
  26.         System.out.println("找到"+docs.totalHits+"个结果 ");  
  27.           
  28.         for (int i = 0; i < docs.scoreDocs.length; i++) {  
  29.             System.out.println(sis.doc(docs.scoreDocs[i].doc).get("test_t"));  
  30.         }  
  31.           
  32.     }  
public static void main(String[] args) throws IOException, ParserConfigurationException, SAXException{
		
		System.setProperty("solr.solr.home","e:\\solrIndex");
		
                //这下面三行代码主要是用于加载配置文件
		SolrConfig solrConfig = new SolrConfig("E:\\solrIndex\\conf\\solrconfig.xml");
		FileInputStream fis = new FileInputStream("E:\\solrIndex\\conf\\schema.xml");
		IndexSchema indexSchema = new IndexSchema(solrConfig,"solrconfig",fis);
		
		SolrIndexWriter siw = new SolrIndexWriter("solrIndex","E:\\solrIndex",new StandardDirectoryFactory()
				,true,indexSchema);
		Document document = new Document();
		document.add(new Field("text","测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
		document.add(new Field("test_t","再测试一下而已",Field.Store.YES,Field.Index.ANALYZED,Field.TermVector.WITH_POSITIONS_OFFSETS));
		siw.addDocument(document);
		
		siw.commit();
		siw.close();
		
		SolrCore solrCore = new SolrCore("E:\\solrIndex",indexSchema);
		
		SolrIndexSearcher sis = new SolrIndexSearcher(solrCore,indexSchema,"solrIndex",
						new StandardDirectoryFactory().open("E:\\solrIndex"),true);
		TopDocs docs = sis.search(new TermQuery(new Term("test_t","再")),1);
		
		System.out.println("找到"+docs.totalHits+"个结果 ");
		
		for (int i = 0; i < docs.scoreDocs.length; i++) {
			System.out.println(sis.doc(docs.scoreDocs[i].doc).get("test_t"));
		}
		
	}

  代码不难理解，所以就没写注释了。主要是那段加载配置文件的代码。接下来是添加索引，然后是查询索引，删除的比较简单，直接一句代码

Java代码   收藏代码
  1. solrServer.solrServer.deleteById("SOLR1000");  
solrServer.solrServer.deleteById("SOLR1000");

  或者

Java代码   收藏代码
  1. solrServer.deleteByQuery()  
solrServer.deleteByQuery()

  都比较简单。

3）接下来我们讲一下，很可能会在项目中用到的，就是中文分词，中文分词有蛮多的，有IK，Paoding，mmseg4j，还有另外一些中科院什么地方的。但个人建议用IK或者mmseg4j，这两个有solr都有比较直接的支持，paoding也可以，但可能需要自己写类继承BaseTokenizerFactory然后再进行配置，不难。

上面的例子就是用到中文分词了，如果你发现找不到结果，那很正常，因为还没添加中文分词，你可以把中文改成英文，再查一下，就可以查出来了。

需要添加中文分词，我们要在schema.xml中做文章。找到types标签，在里面找到你想要进行中文分词的类型，比如text类型，我们想要让它的内容用中文分词来进行分析，可以进行配置：

Xml代码   收藏代码
  1. <analyzer type="index">  
  2.         <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>  
  3.         <filter class="solr.StopFilterFactory"  
  4.                 ignoreCase="true"  
  5.                 words="stopwords.txt"  
  6.                 enablePositionIncrements="true"  
  7.                 />  
  8.         <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>  
  9.         <filter class="solr.LowerCaseFilterFactory"/>  
  10.         <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>  
  11.       </analyzer>  
  12.       <analyzer type="query">  
  13.         <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"/>  
  14.         <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>  
  15.         <filter class="solr.StopFilterFactory"  
  16.                 ignoreCase="true"  
  17.                 words="stopwords.txt"  
  18.                 enablePositionIncrements="true"  
  19.                 />  
  20.         <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>  
  21.         <filter class="solr.LowerCaseFilterFactory"/>  
  22.         <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords.txt"/>  
  23.       </analyzer>  

  你可以先不理解filter的那些东西，但你一定要理解tokenizer这些地方的配置，它配置了你想要应用的分词器，它必须继承于BaseTokenizerFactory。我们看到analyzer有一个type属性，它表示你要在哪个阶段运用此分词器，如果索引和查询都要用，我们可以不写type，这样solr就会在索引和查询时都使用此分词器，这样配置完成后就可以进行中文分词的测试啦。我们重新把上面的例子添加中文进行索引，然后查询出来，看有没有问题。我的运行结果如下：



  我们找到了结果，证明我们的中文分词已经没问题了。


hzcyclone
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Solr] Apache Solr 简介及使用
Konaji
08-07 7994
前言 Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 Solr下载 到solr的官网进行下载:http://lucene.apache.org/ 下载历史版本的网址: http://archi...
[Solr] Apache Solr 入门案例
Konaji
08-10 674
前言 在上文中我们已经详细介绍了 Solr 的部署 ，本文我们将介绍 Solr 在 Java 中的使用。 上文传送门 : [Solr] Apache Solr 简介及使用 [Solr] Apache Solr 集群 环境准备 索引库 schema.xml 配置文件 &amp;amp;amp;amp;lt;?xml version=&amp;amp;amp;quot;1.0&amp;amp;amp;quot; encoding=&amp;amp;amp;qu
1.Apache Solr介绍、下载及其安装
相互学习 共同进步
05-21 1435
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-Service的API接口 Solr具有高度的可靠性、可伸缩性和容错能力。提供分布式索引、复制和负载均衡查询、自动故障转移和恢复、集中式配置等。Solr为许多世界上的互联网站点提供搜索和导航功能
Apache Solr 远程命令执行漏洞(CVE-2019-0193)
weixin_44047654的博客
03-03 1620
Apache Solr 远程命令执行漏洞(CVE-2019-0193)
Apache Solr 教程_编程入门自学教程_菜鸟教程-免费教程分享
banzhuan_it的博客
06-07 771
Apache Solr 是一个开源搜索服务器。Solr 是用 Java 语言开发的，主要基于 HTTP 和 Apache Lucene 实现。存储在 Apache Solr 中的资源存储为 Document 对象。Apache Solr入门教程- 从基本概念开始，简单易学地了解Apache Solr，其中包括概述，搜索引擎基础知识，Windows环境，Hadoop，架构，术语，基本命令，核心，索引数据，添加文档（ XML），更新数据，删除文档，检索数据，查询，分面。
Apache Solr搜索引擎开发框架
qq_54899200的博客
12-01 1088
为什么要学习搜索引擎开发框架 常见的搜索引擎框架： 1.Solr 2.ElasticSearch 搭建ELK环境（ElasticSearch+Logback+Kabana）实现日志系统的搭建 Solr是基于Apache Lucene构建的流行，快速，开源的企业搜索平台。
Apache Solr入门教程(初学者之旅)
weixin_33682719的博客
06-27 954
Apache Solr入门教程(初学者之旅) 写在前面：本文涉及solr入门的各方面，建议边思考边实践，相信能帮助你对solr有个清晰全面的了解并能简单实用。 在Apache Solr初学者教程的这个例子中，我们将讨论有关如何安装最新版本的Apache Solr，并告诉你如何配置它。此外，我们将告诉你如何进行使用solr的样本数据文件索引。Apache Solr支持不同格式，包括各种数据库，...
Apache Solr初级教程.docx
09-22
Apache Solr 是一款基于开源全文检索库 Apache Lucene 的企业级搜索服务器。它以其高度可扩展性和丰富的功能，被广泛应用于构建高效的搜索引擎。Solr 使用 Java 编写，但通过HTTP和XML接口与外界交互，使得即使不...
Apache Solr（solr-7.7.3.tgz）
02-05
Apache Solr是一款强大的开源搜索引擎，基于Java开发，与Apache Lucene库紧密集成。它提供了高效、可扩展的全文检索、命中高亮、拼写检查、分类、 faceting、实时索引和多语言支持等特性。在商业环境中，Solr常用于...
Apache Solr组件安全概览1
08-03
Apache Solr是一个强大的开源搜索服务引擎，基于Lucene库，被广泛用于企业的全文检索需求。本文将深入探讨Solr的核心概念、源码分析、历史漏洞、攻击面以及防御策略。 1. **组件概述** - **企业级全文检索服务器**...
Apache Solr（solr-8.11.1.zip）
01-10
Apache Solr是一款开源的企业级搜索平台，由Apache软件基金会维护。它是基于Java的，提供了高效、可扩展的全文检索、数据分析和分布式搜索功能。Solr-8.11.1是该软件的一个特定版本，包含了从早期版本到8.11.1的所有...
Apache Solr初体验二
weixin_33769207的博客
11-22 72
 　　接着上篇http://cxshun.iteye.com/blog/1039445，我们讲了怎么初始化配置solr，并运行。问题来了，当我们配置完成后，索引当中并没有任何东西，就是说我们查询得到的结果永远是0。现在这篇文章，我们要讲的就是如果添加数据和删除数据，并体验一下solr的基本请求参数的用法。     1）首先，我们必须知道，solr添加数据类型可以有多种格式，最常用的是XML和JS...
Apache Solr漏洞总结（比较全面的哦）
热门推荐
yangbz123的博客
06-11 1万+
目录框架概述Wiki百科百度百科漏洞列表1.远程命令执行RCE（CVE-2017-12629）漏洞详情漏洞复现影响版本修复方案2.远程命令执行XXE（CVE-2017-12629）漏洞详情漏洞复现影响版本修复方案3.任意文件读取AND命令执行（CVE-2019-17558）漏洞详情漏洞复现3.1代码执行3.2任意文件读取影响版本修复方案4.远程命令执行漏洞(CVE-2019-0192)漏洞详情漏洞复现影响版本修复方案5.远程命令执行漏洞(CVE-2019-0193)漏洞详情漏洞复现影响版本修复方案6.未授权
Apache Solr 未授权上传（RCE）漏洞（CVE-2020-13957）加固操作指南
乐大厨串串香飘万里
08-09 671
Apache Solr 未授权上传（RCE）漏洞（CVE-2020-13957）
【搜索引擎】提高Apache Solr 性能
全网:架构师研究会
07-14 877
这是一个关于我们如何设法克服搜索和相关性堆栈的稳定性和性能问题的简短故事。语境在过去的 10 个月里，我很高兴与个性化和相关性团队合作。我们负责根据排名和机器学习向用户提供“个性化和相关的内容”。我们通过一组提供三个公共端点的微服务来做到这一点，即 Home Feed、Search 和 Related items API。我记得加入团队几个月后，下一个挑战是能够为更大的关键国家提供优质服务。目标是...
Apache Solr 安装及启动
rumengqiang的博客
01-07 1667
1.下载地址  https://lucene.apache.org/solr/ 下载解压后目录如下 bin：启动和停止服务器的脚本。example： 示例。server/logs 文件夹，所有Solr日志都写入该文件夹。server/solr文件夹包含不同的集合或核心（core/collection）。对于各集合或核心的配置和数据都存储在相应的集合或核心文件夹。 Solr内置Jetty...
【漏洞复现】Apache系列(二)之Solr漏洞复现
qq_45244158的博客
03-01 7374
【漏洞复现】Apache系列(二)之Solr漏洞复现
ranger审计日志对接CDH solr
最新发布
07-19 588
作者：耀灵。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值