【Lucene3.6.2入门系列】第14节_SolrJ操作索引和搜索文档以及整合中文分词

最新推荐文章于 2019-02-06 20:19:20 发布

hzd_123

最新推荐文章于 2019-02-06 20:19:20 发布

阅读量638

点赞数

分类专栏： lucene

lucene 专栏收录该内容

15 篇文章 0 订阅

订阅专栏

[java]view plaincopyprint? 
   
 package com.jadyer.solrj;  
   
 import java.util.ArrayList;  
 import java.util.List;  
   
 import org.apache.solr.client.solrj.SolrQuery;  
 import org.apache.solr.client.solrj.SolrServer;  
 import org.apache.solr.client.solrj.SolrServerException;  
 import org.apache.solr.client.solrj.impl.HttpSolrServer;  
 import org.apache.solr.client.solrj.response.QueryResponse;  
 import org.apache.solr.common.SolrDocument;  
 import org.apache.solr.common.SolrDocumentList;  
 import org.apache.solr.common.SolrInputDocument;  
   
 import com.jadyer.model.MyMessage;  
   
 /** 
  * 【Lucene3.6.2入门系列】第14节_SolrJ操作索引和搜索文档以及整合中文分词 
  * @see ------------------------------------------------------------------------------------------------------------------------- 
  * @see 通过schema.xml使得Solr与中文分词进行整合 
  * @see 0)默认solr定义的大量域都不支持中文分词,如果我们要加中文分词的支持,那么首先要加的就是<types><fieldType/></types> 
  * @see   下面以MMSeg4j-1.8.5为例,描述Solr与中文分词器的整合方式(其核心就是在schema.xml中配置fieldType) 
  * @see   关于MMSeg4j的介绍,详见http://blog.csdn.net/jadyer/article/details/10049525 
  * @see 1)将mmseg4j-all-1.8.5.jar拷到D:\Develop\apache-solr-3.6.2\server\solr\WEB-INF\lib\文件夹中 
  * @see 2)新建D:\Develop\apache-solr-3.6.2\home\dic\文件夹 
  * @see 3)将mmseg4j-1.8.5.zip\data\文件夹中的词典文件拷贝到D:\Develop\apache-solr-3.6.2\home\dic\ 
  * @see 4)在schame.xml中添加中文分词的fieldType定义 
  * @see   通常中文分词的工具包中都会提供README.txt文件,里面会描述扩展solr时需要配置的fieldType 
  * @see   同理将mmseg4j-1.8.5.zip中的README.txt打开,拷贝里面描述的三个fieldType到schema.xml中第68行 
  * @see 5)确认并修改这三个fileType中的dicPath属性值为"dic"(这里的dic其实指的就是第二步新建的dic文件夹) 
  * @see 6)最后测试一下中文分词效果 
  * @see   在solr控制台上(http://127.0.0.1:8088/solr/admin/)点击蓝色粗体的[ANALYSIS] 
  * @see   然后在Field Analysis下面将Field下拉框修改为type,并在右面文本框输入text_general(即schema.xml中定义的fieldType) 
  * @see   接着在Field Value(Index)右面的文本框中输入测试文本'我来自中国黑龙江省哈尔滨市巴彦县兴隆镇长春乡民权村4队' 
  * @see   再点击下方的Analyze按钮,我们就会发现text_general的分词情况了,然后我们再修改text_general为刚才自定义的textComplex,就看到效果啦 
  * @see   另外也可以勾选Field Value(Index)下面的verbose output选框,这样也会将分词的各个属性(position,Offset,type等等)一并显示出来 
  * @see ------------------------------------------------------------------------------------------------------------------------- 
  * @see 本例中合计用到9个jar,如下所示 
  * @see apache-solr-core-3.6.2.jar 
  * @see apache-solr-solrj-3.6.2.jar 
  * @see commons-codec-1.6.jar 
  * @see commons-io-2.1.jar 
  * @see httpclient-4.1.3.jar 
  * @see httpcore-4.1.4.jar 
  * @see httpmime-4.1.3.jar 
  * @see jcl-over-slf4j-1.6.1.jar 
  * @see slf4j-api-1.6.1.jar 
  * @see ------------------------------------------------------------------------------------------------------------------------- 
  * @create Aug 7, 2013 11:06:20 PM 
  * @author 玄玉<http://blog.csdn.net/jadyer> 
  */  
 public enum HelloSolrJ {  
     INSTANCE;  
       
     private SolrServer server;  
       
     private HelloSolrJ(){  
         //创建SolrServer对象,它有两个线程安全的子类EmbeddedSolrServer和CommonsHttpSolrServer  
         //EmbeddedSolrServer-----内嵌式的,不需要启动Web服务器  
         //CommonsHttpSolrServer--需要启动Web服务器,它是通过HTTP请求来获取数据的  
         //CommonsHttpSolrServer已不推荐直接使用了,而是推荐使用HttpSolrServer类  
         //同样的StreamingUpdateSolrServer也不推荐使用了,推荐使用ConcurrentUpdateSolrServer  
         server = new HttpSolrServer("http://127.0.0.1:8088/solr");  
     }  
       
     /** 
      * 删除全部索引 
      */  
     public void deleteAllIndex(){  
         try {  
             //删除所有的索引,删除完记得commit才能生效  
             server.deleteByQuery("*:*");  
             server.commit();  
         } catch (Exception e) {  
             e.printStackTrace();  
         }  
     }  
       
       
     /** 
      * 添加索引 
      * @see 这里之所以没有硬编码指定my_title和my_content的中文分词器 
      * @see 是由于schema.xml中在定义这俩<field>时已通过type属性指定了中文分词器 
      */  
     public void addIndex(){  
         List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();  
         for(int i=1; i<4; i++){  
             SolrInputDocument doc = new SolrInputDocument();  
             //对于Solr而言,默认的id是唯一的主键(如果我们没有自定义主键的话),当多次添加的时候,最后添加的相同id的域会覆盖已有的  
             doc.addField("id", Integer.toString(i));  
             //这里使用的是自定义的Field,所以就需要在schema.xml中为其添加<field>描述,并通过type属性指定其使用的分词器  
             doc.addField("my_title", "这是我的第" + i + "个SolrJ程序");  
             doc.addField("my_content", "my第" + i + "个SolrJ程序的运行情况");  
             docs.add(doc);  
         }  
         try {  
             //可以只添加一个Document,也可以一次添加多个Document,这里添加多个  
             server.add(docs);  
             //commit后方能生效,否则搜索到的还是add前的索引信息  
             server.commit();  
         } catch (Exception e) {  
             e.printStackTrace();  
         }  
     }  
       
       
     /** 
      * 使用JavaBean来添加索引 
      */  
     public void addIndexByBean(){  
         List<MyMessage> msgs = new ArrayList<MyMessage>();  
         //由于MyMessage()的第三个参数允许传入多个值,此时就要在Solr的schema.xml中配置<field my_content multiValued="true"/>支持多值域  
         //并且在MyMessage.java中要使用@Field注解标注,可以标注在属性或setter方法上,并通过注解的默认值来指定所要存储的Field的名字  
         msgs.add(new MyMessage("4", "这是我的第4个SolrJ程序", new String[]{"第4个SolrJ程序诞生于中国", "它是通过SolrJ OF JavaBean4诞生添加的"}));  
         msgs.add(new MyMessage("5", "这是我的第5个SolrJ程序", new String[]{"第5个SolrJ程序诞生于哈尔滨", "它是通过SolrJ OF JavaBean5诞生添加的"}));  
         try {  
             server.addBeans(msgs);  
             server.commit();  
         } catch (Exception e) {  
             e.printStackTrace();  
         }  
     }  
       
       
     /** 
      * 搜索文档 
      */  
     public void searchFile(){  
         //设置查询字符串  
         SolrQuery query = new SolrQuery("my_content:诞生");  
         //设置了setStart和setRows就可以实现分页效果了  
         query.setStart(0);  
         query.setRows(3);  
         QueryResponse resp = null;  
         try {  
             resp = server.query(query);  
         } catch (SolrServerException e) {  
             e.printStackTrace();  
         }  
         //搜索出来的结果都保存在SolrDocumentList中  
         SolrDocumentList sdl = resp.getResults();  
         //这里获取到的是搜索到的总数量,与query.setRows(3)无关  
         System.out.println("本次搜索到[" + sdl.getNumFound() + "]条数据");  
         for(SolrDocument sd : sdl){  
             //System.out.println(sd)会输出SolrDocument[{id=4, my_title=这是我的第4个SolrJ程序, my_content=[第4个....于中国, 它是....进来的]}]  
             System.out.println("my_title=" + sd.getFieldValue("my_title") + "        my_content=" + sd.getFieldValue("my_content"));  
         }  
     }  
   
       
     /** 
      * 使用JavaBean接收文档搜索结果 
      */  
     public void searchFileByBean(){  
         SolrQuery query = new SolrQuery("id:*");  
         query.setStart(0);  
         query.setRows(3);  
         QueryResponse resp = null;  
         try {  
             resp = server.query(query);  
         } catch (SolrServerException e) {  
             e.printStackTrace();  
         }  
         List<MyMessage> list = resp.getBeans(MyMessage.class);  
         //这里获取到的不是搜索到的总数量,而是与query.setRows(3)有关的值  
         //若实际的SolrQuery("id:*")能搜索到5条,则这里得到的就是3,若实际能搜索到的是2条,则这里得到的就是2条  
         System.out.println("本次搜索到[" + list.size() + "]条数据");  
         for(MyMessage msg : list) {  
             System.out.println(msg.getTitle() + "         " + msg.getContent()[0]);  
         }  
     }  
 }  

下面是用到的JavaBean类

[java]view plaincopyprint? 
   
 package com.jadyer.model;  
   
 import org.apache.solr.client.solrj.beans.Field;  
   
 public class MyMessage {  
     @Field  
     private String id;  
     @Field("my_title")  
     private String title;  
     @Field("my_content")  
     private String[] content;  
       
     /*-- 三个属性的setter和getter略 --*/  
       
     public MyMessage() {}  
   
     public MyMessage(String id, String title, String[] content) {  
         this.id = id;  
         this.title = title;  
         this.content = content;  
     }  
 }  

最后是JUnit4.x写的一个小测试

[java]view plaincopyprint? 
   
 package com.jadyer.test;  
   
 import org.junit.Test;  
   
 import com.jadyer.solrj.HelloSolrJ;  
   
 public class HelloSolrJTest {  
     @Test  
     public void deleteAllIndex(){  
         HelloSolrJ.INSTANCE.deleteAllIndex();  
     }  
       
     @Test  
     public void addIndexAndSearchFile(){  
         HelloSolrJ.INSTANCE.addIndex();  
         HelloSolrJ.INSTANCE.searchFile();  
     }  
       
     @Test  
     public void addIndexAndSearchFileByBean(){  
         HelloSolrJ.INSTANCE.addIndexByBean();  
         HelloSolrJ.INSTANCE.searchFileByBean();  
     }  
 }

hzd_123

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【Lucene3.6.2入门系列】第14节_SolrJ操作索引和搜索文档以及整合中文分词

[java] view plaincopyprint?package com.jadyer.solrj; import java.util.ArrayList; import java.util.List; import org.apache.solr.client.solrj.SolrQuery; import org.ap
复制链接

扫一扫