一 。solr简介
solr是以lucene为内核开发的企业级搜索应用 应用程序可以通过http请求方式来提交索引,查询索引,提供了比lucene更丰富的查询语言,是
一个高性能,高可用环境全文搜索引擎
二 。solr安装配置
1》下载solr安装包 solr所有版本 (http://archive.apache.org/dist/lucene/solr/)
这里下载 solr-5.5.4
2》安装 解压将solr-5.5.4\server\solr-webapp下的webapp 拷贝到tomcat\webapps目录下 改名为solr 启动tomcat
直接访问 出现404 找到tomcat/logs/localhost.2017-08-17.log 日志 出现以下异常
java.lang.NoClassDefFoundError: Failed to initialize Apache Solr: Could not find necessary SLF4j logging jars.
If using Jetty, the SLF4j logging jars need to go in the jetty lib/ext directory. For other containers,
the corresponding directory should be used. For more information, see: http://wiki.apache.org/solr/SolrLogging
at org.apache.solr.servlet.CheckLoggingConfiguration.check(CheckLoggingConfiguration.java:27)
at org.apache.solr.servlet.BaseSolrFilter.<clinit>(BaseSolrFilter.java:30)
可用看到缺少SLF4j包 应该去 应该去 解压包 /server/lib/ext下找到并拷贝到 tomcat/solr/lib目录下 然后重启
继续访问 出现以下错误
java.lang.NoSuchMethodError: javax.servlet.ServletInputStream.isFinished()Z
org.apache.solr.servlet.SolrDispatchFilter.consumeInputFully(SolrDispatchFilter.java:284)
org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:274)
org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:208)
明显是Servlet版本不一致 tomcat6不支持solr5.54 加大tomcat版本 tomcat7也不支持 换成tomcat8 启动后访问 依然错误:
org.apache.solr.common.SolrException: Error processing the request. CoreContainer is either not initialized or shutting down.
org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:217)
org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:208)
是因为需要配置solrhome和solrhome的配置环境
3》配置solrhome
找到 tomcat\solr\WEB-INF\web.xml 编辑 找到以下这段(配置solrhome) 去掉注释 将第二个参数配置为本地任意一个目录即可
<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>D:\learn\solr-5.5.4\home</env-entry-value>
<env-entry-type>java.lang.String</env-entry-type>
</env-entry>
找到solr解压包/server/solr目录拷贝所有文件到 以上web.xml指定的路径D:\learn\solr-5.5.4\home下 重启tomcat 访问
http://localhost:8080/solor/index.html 或者 http://localhost:8080/solr/admin.html
4》配置core(core类似于数据库可以插入多个document(数据库表行)每个document拥有多个 field 数据库的列)
solrhome下新建一个core目录 比如mycore
拷贝 solr解压包下\server\solr\configsets\basic_configs到新建目录 mycore中
进入solr管理网页 点击 core admin 添加该core
点击Add core后 成功后 检查 mycore目录 发现多了 core.properties和data两个资源
登陆solr管理网站发现 列表中多了mycore
4》配置文件理解
core/conf目录下的两个配置文件非常重要
managed-schema 主要用于配置 可以提交到该core的所有field定义,field的类型定义,唯一标识符等
常用配置如下:
定义字段 _version_ 类型为long indexed="true" 会进行分词索引 stored="true"表示存储到磁盘
<field name="_version_" type="long" indexed="true" stored="true"/>
定义字段 id required="true" 表示所有的document必须添加id字段 multiValued="false" 表示是否是多值字段
<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
定义动态字段 所以_i结尾的字段都可以写入到当前的core
<dynamicField name="*_i" type="int" indexed="true" stored="true"/>
定义唯一标识符的字段
<uniqueKey>id</uniqueKey>
定义字段类型的别名
<fieldType name="string" class="solr.StrField" sortMissingLast="true" />
solrconfig.xml 主要用于配置solor的主要配置信息 比如lucene版本 缓存 数据目录 请求路径映射 等
表示lucene版本
<luceneMatchVersion>5.5.4</luceneMatchVersion>
表示数据目录 默认是data目录
<dataDir>${solr.data.dir:}</dataDir>
自动提交配置
<autoCommit>
当超过15000ms后自动提交所有数据
<maxTime>${solr.autoCommit.maxTime:15000}</maxTime>
是否马上就可以查询到
<openSearcher>false</openSearcher>
</autoCommit>
表示当路径为 /select时查询所有的数据
<requestHandler name="/select" class="solr.SearchHandler">
<!-- default values for query parameters can be specified, these
will be overridden by parameters in the request
-->
<lst name="defaults">
<str name="echoParams">explicit</str>
<int name="rows">10</int>
</lst>
</requestHandler>
尝试在界面上添加数据和查询数据
添加数据
查询结果
查询的参数列表
q表示查询的条件 字段名:值的格式 多个条件组合查询可以使用 字段:字段值 && 字段1:字段值1 也可以使用大写的AND或者OR
fq表示filter query 过滤条件 和q是and的关系支持各种逻辑运算符 (参考https://cwiki.apache.org/confluence/display/solr/The+Standard+Query+Parser)
sort表示排序 的字段 字段名 asc|desc
start 表示从第几行开始 rows表示查询的总行数
fl表示查询显示的列 比如只需要查询 name_s,sex_i 这两列 使用,隔开
df表示默认的查询字段 一般不设置
Raw Query Parameters表示原始查询字段 可以使用 start=0&rows=10这种url的方式传入参数
wt(write type)表示写入的格式 可以使用json和xml
shards 多核同时搜索 solrhome拷贝mycore为mycore1 管理平台添加core 设置参数为 路径,路径来设置需要搜索的核
String shards = "localhost:8080/solr/mycore,localhost:8080/solr/mycore1";
query.set("shards", shards);
其他参考(https://cwiki.apache.org/confluence/display/solr/Common+Query+Parameters)
5》配置中文分词器
默认solr 没有使用中文分词器 所有搜索的词 都是整个句子就是一个词 搜索时 将单词全部写入才能搜索或者使用* 需要配置中文分词器
目前比较好用的分词器 是IK 2012年停更 只支持到 Lucene4.7 所有 solr5.5 需要lucene5支持 需要修改部分源码来支持solr5.5
找到 IKAnalyzer类 需要重写 protected TokenStreamComponents createComponents(String fieldName) 方法
找到 IKTokenizer类 需要重写构造方法 public IKTokenizer(Reader in, boolean useSmart) 为 public IKTokenizer(boolean useSmart) {
在任意项目中 使用maven 引用lucene5 和ik
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>5.3.1</version>
</dependency>
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
<exclusions>
<exclusion>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
</exclusion>
</exclusions>
</dependency>
在项目中 添加完整的包名和类名 和 ik中一致 拷贝源代码
代码修改对应的方法即可
IKAnalyzer
/**
*
*/
package org.wltea.analyzer.lucene;
import java.io.Reader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.Tokenizer;
/**
*/
public final class IKAnalyzer extends Analyzer {
private boolean useSmart;
public boolean useSmart() {
return useSmart;
}
public void setUseSmart(boolean useSmart) {
this.useSmart = useSmart;
}
/**
*/
public IKAnalyzer() {
this(false);
}
/**
*/
public IKAnalyzer(boolean useSmart) {
super();
this.useSmart = useSmart;
}
/**这里就去掉了 Reader的一个参数
*/
@Override
protected TokenStreamComponents createComponents(String fieldName) {
Tokenizer _IKTokenizer = new IKTokenizer(this.useSmart());
return new TokenStreamComponents(_IKTokenizer);
}
}
IKTokenizer
/**
*
*/
package org.wltea.analyzer.lucene;
import java.io.IOException;
import java.io.Reader;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
public final class IKTokenizer extends Tokenizer {
private IKSegmenter _IKImplement;
private final CharTermAttribute termAtt;
private final OffsetAttribute offsetAtt;
private final TypeAttribute typeAtt;
private int endPosition;
//去掉了其中Reader的第一个构造参数
public IKTokenizer(boolean useSmart) {
super();//去掉super中的构造参数
offsetAtt = addAttribute(OffsetAttribute.class);
termAtt = addAttribute(CharTermAttribute.class);
typeAtt = addAttribute(TypeAttribute.class);
_IKImplement = new IKSegmenter(input, useSmart);
}
@Override
public boolean incrementToken() throws IOException {
clearAttributes();
Lexeme nextLexeme = _IKImplement.next();
if (nextLexeme != null) {
termAtt.append(nextLexeme.getLexemeText());
termAtt.setLength(nextLexeme.getLength());
offsetAtt.setOffset(nextLexeme.getBeginPosition(), nextLexeme.getEndPosition());
endPosition = nextLexeme.getEndPosition();
typeAtt.setType(nextLexeme.getLexemeTypeString());
return true;
}
return false;
}
/*
* (non-Javadoc)
* @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)
*/
@Override
public void reset() throws IOException {
super.reset();
_IKImplement.reset(input);
}
@Override
public final void end() {
// set final offset
int finalOffset = correctOffset(this.endPosition);
offsetAtt.setOffset(finalOffset, finalOffset);
}
}
将编译好的class文件替换原始jar包即可
将solrhome下 配置文件managed-schema 添加一个字段类型 使用ik分词器
<fieldType name="text_ik" class="solr.TextField" >
<analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
<analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
不能修改 StrField 不支持自定义分词器
<fieldType name="string" class="solr.StrField" sortMissingLast="true" >
</fieldType>
然后将对应需要进行中文分词的字段使用 text_ik该字段类型 比如
<dynamicField name="*_s" type="text_ik" indexed="true" stored="true" />
重启 或者 cloud环境下重新生成collection 插入数据即可实现中文分词 通过某些中文关键字搜索
6》添加业务拓展词库
ik默认支持拓展词库(连续词不用在分次,比如爱他美不使用就回拆分为 爱和他和美)和拓展停止词
在类路径添加配置文件IKAnalyzer.cfg.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">words/cb.txt;</entry>
<entry key="ext_stopwords">words/stopwords.txt</entry>
</properties>
新建words目录添加cb.txt和stopwords.txt
假设cb.txt有几个新词是:爱他美,格力 cb.txt内容(一个词占一行,公司系统内部正式库中可以通过sql导出一份词库):
爱他美
格力
停止词表示遇到这样的词直接忽略 比如的 是这样的词
项目测试
添加依赖:
dependencies>
<!-- https://mvnrepository.com/artifact/com.janeluo/ikanalyzer -->
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
</dependencies>
添加测试类
package cn.gvt;
import org.wltea.analyzer.cfg.Configuration;
import org.wltea.analyzer.cfg.DefaultConfig;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import java.io.IOException;
import java.io.StringReader;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
/**
* @author jiaozi<liaomin @ gvt861.com>
* @since JDK8
* Creation time:2019/5/7 18:33
*/
public class TestMain {
public static void main(String[] args) throws IOException {
String s = "JAVA一级结构";
queryWords(s);
}
public static void queryWords(String query) throws IOException {
Configuration cfg = DefaultConfig.getInstance();
System.out.println(cfg.getMainDictionary()); // 系统默认词库
System.out.println(cfg.getQuantifierDicionary());
List<String> list = new ArrayList<String>();
IKSegmenter ikSeg = null;
Scanner scanner=new Scanner(System.in);
while(true) {
System.out.print("请输入您的词:");
String next=scanner.nextLine();
if(ikSeg==null){
ikSeg = new IKSegmenter(new StringReader(next.trim()), true);// true 用智能分词 ,false细粒度
}else{
ikSeg.reset(new StringReader(next.trim()));
}
for (Lexeme lexeme = ikSeg.next(); lexeme != null; lexeme = ikSeg.next()) {
System.out.print(lexeme.getLexemeText() + "|");
}
System.out.println();
}
}
}
运行:
请输入您的词:爱他美我爱你
加载扩展词典:words/cb.txt
加载扩展停止词典:words/stopwords.txt
爱他美|我爱你|
集成到solr中,将words目录和IKAnalyzer.cfg.xml丢到tomcat下sor/WEB-INF/classes目录即可
分析是否成功使用分词
7》初始全量导入数据库数据
假设存在表 news表示 其中 有以下数据:
进入solr所在服务器 搜索 dataimport相关jar包
solr@localhost:/opt/solr$ find / -name *import*.jar
/opt/solr/dist/solr-dataimporthandler-5.5.5.jar
/opt/solr/dist/solr-dataimporthandler-extras-5.5.5.jar
将这两个jar包拷贝到 solr启动应用 webapp/lib目录下
cp /opt/solr/dist/solr-dataimporthandler-5.5.5.jar /opt/solr/server/solr-webapp/webapp/WEB-INF/lib
cp /opt/solr/dist/solr-dataimporthandler-extras-5.5.5.jar /opt/solr/server/solr-webapp/webapp/WEB-INF/lib
同时将mysql的驱动包 丢到该目录下
编辑core的conf/solrconfig.xml 添加
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
在solrconfig.xml同一目录下 添加 data-config.xml(配置连接的数据库以及查询的sql语句 )
<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
<dataSource name="source1" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.1.3:3306/test" user="root" password="123456" batchSize="-1" />
<document>
<entity name="book" pk="newid" dataSource="source1"
query="select * from mynew" >
<field column="newid" name=""/>
<field column="newtitle" name="title_ik"/>
</entity>
</document>
</dataConfig>
访问solrweb管理界面 http://ip:
三。solr客户端
solr提供的solrj java客户端可以使用java来添加和查询索引
使用maven引入solrj的依赖库
<!-- https://mvnrepository.com/artifact/org.apache.solr/solr-solrj -->
<dependency>
<groupId>org.apache.solr</groupId>
<artifactId>solr-solrj</artifactId>
<version>5.5.3</version>
</dependency>
使用客户端操作添加和查询索引的代码
public class TestCrud {
//请求的url
public static final String url="http://localhost:8080/solr/mycore";
/**
* 测试写入数据到solr
* @throws IOException
* @throws SolrServerException
*/
@Test
public void testWriteDoc() throws SolrServerException, IOException{
HttpSolrClient hsc=new HttpSolrClient(url);
SolrInputDocument sid=new SolrInputDocument();
sid.addField("id", 1);
sid.addField("name_s","张三");
hsc.add(sid);
hsc.commit();
hsc.close();
}
/**
* 测试从solr读取数据
* @throws IOException
* @throws SolrServerException
*/
@Test
public void testReadDoc() throws SolrServerException, IOException{
HttpSolrClient hsc=new HttpSolrClient(url);
SolrQuery sq=new SolrQuery();
sq.setQuery("name_s:*");
sq.set("sort", "id asc");
sq.setStart(0);
sq.setRows(1);
SolrDocumentList sdl=hsc.query(sq).getResults();
for(SolrDocument sd:sdl){
System.out.println(sd.getFieldValue("name_s"));
}
hsc.close();
}
/**
* 测试通过id删除
* @throws IOException
* @throws SolrServerException
*/
@Test
public void testDelDoc() throws SolrServerException, IOException{
HttpSolrClient hsc=new HttpSolrClient(url);
hsc.deleteById("1");
hsc.commit();
hsc.close();
}
}
使用javabean的方式操作
javabean定义
import org.apache.solr.client.solrj.beans.Field;
public class UserInfo {
public UserInfo() {
}
@Field
private String id;
@Field
private String name_s;
@Field
private int age_i;
}
执行代码如下:
/**
* 测试写入数据到solr
* @throws IOException
* @throws SolrServerException
*/
@Test
public void testWriteDoc() throws SolrServerException, IOException{
HttpSolrClient hsc=new HttpSolrClient(url);
UserInfo ui=new UserInfo();
ui.setId("2");
ui.setName_s("李四");
ui.setAge_i(100);
hsc.addBean(ui);
hsc.commit();
hsc.close();
}
/**
* 测试从solr读取数据
* @throws IOException
* @throws SolrServerException
*/
@Test
public void testReadDoc() throws SolrServerException, IOException{
HttpSolrClient hsc=new HttpSolrClient(url);
SolrQuery sq=new SolrQuery();
sq.setQuery("name_s:*");
sq.set("sort", "id asc");
sq.setStart(0);
sq.setRows(1);
List<UserInfo> sdl=hsc.query(sq).getBeans(UserInfo.class);
for(UserInfo sd:sdl){
System.out.println(sd.getName_s());
}
hsc.close();
}
四。solr集群安装
1》集群方式:
solr集群目前有两种方式 主从模式和solrcloud模式(推荐方式)
solrcloud通过zookeeper管理集群 通过将索引切片的方式分发到不同的后端服务器中 后端服务器 可以通过一主多从的方式来实现高可用 一主多从
通过leader的管理方式 leader负责写入 从机负责分摊并发读取 leader挂掉后 从机选举出新的leader继续进行管理
2》solrcloud集群概念
solrcloud分为逻辑层和物理层
逻辑层:
》Cluster(表示zookeeper集群) 用于管理solrcloud的实例collection
》Collection 表示一个solrcloud的实例 能够被切分为多个片
》Shards (片) 一个Collection 可以被切分为多个片 片的个数决定了并发量的大小 每个片拥有多个备份 其中包括leader 负责写入 replica负责容灾和读请求
物理层:
》 Cluster由多个solr 节点(物理机器)组成 每个节点对应linux的后台进程
》 Node(节点) 每个节点由多个Core组成
》 Core 每个片在该节点的拷贝都属于一个core 可能每个片都有一份拷贝在当前机器上 当前机器 可能有多个core
》Replica 是每个切片的一份拷贝 必须使用使用相同的配置 该配置需要写入到zookeeper中
3》solrcloud集群实现(伪集群)
》》拷贝三份tomcat 分别修改server.xml tomcat端口 (8080,8081,8082)
》》同单机安装拷贝solr应用到webapps目录下 修改web.xml 分别指向不同的solrhome
比如我的配置
tomcat1 | 8080 | D:\learn\solr-5.5.4\home |
tomcat2 | 8081 | D:\learn\solr-5.5.4\home1 |
tomcat3 | 8082 | D:\learn\solr-5.5.4\home2 |
》》拷贝 solr解压包下\server\solr到新建目录D:\learn\solr-5.5.4\home中 同时拷贝到hom1和home2
solr解压包下\server\solr\configsets\basic_configs到新建目录D:\learn\solr-5.5.4\home(只拷贝home 不拷贝home1和home2) 改名为
collections1
》》tomcat/bin下的 catalina.cmd添加
tomcat1下设置为:
set JAVA_OPTS=-Dsolr.solr.home=D:/learn/solr-5.5.4/home -Dbootstrap_confdir=D:/learn/solr-5.5.4/home/collection1/conf
-Dcollection.configName=myconf -DnumShards=3 -DzkHost=localhost:2181
其他tomcat 设置为
set JAVA_OPTS=-Dsolr.solr.home=D:/learn/solr-5.5.4/home -DzkHost=localhost:2181
》》这里假设本机开启了zookeeper 端口是2181 当然可以开启多个zookeeper地址使用,隔开(参考http://blog.csdn.net/liaomin416100569/article/details/71642091)
依次启动 zookeeper 和所有的tomcat 访问 http://localhost:8080/solr/admin.html
》》使用命令创建collection (其他操作参考 https://cwiki.apache.org/confluence/display/solr/Collections+API)
http://localhost:8081/solr/admin/collections?action=CREATE&name=collection1&numShards=3&replicationFactor=3&maxShardsPerNode=3&collection.configName=myconf
》》查看zookeeper信息和集群分片信息
查看zookeeper中写入的数据
查看分片到哪些节点
五。solr一些其他高级查询(参考代码)
package cn.et.solor;
import java.io.IOException;
import java.util.List;
import java.util.Map;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrRequest;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.CloudSolrClient;
import org.apache.solr.client.solrj.response.FacetField;
import org.apache.solr.client.solrj.response.Group;
import org.apache.solr.client.solrj.response.GroupCommand;
import org.apache.solr.client.solrj.response.GroupResponse;
import org.apache.solr.client.solrj.response.PivotField;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.client.solrj.response.FacetField.Count;
import org.apache.solr.common.params.GroupParams;
import org.apache.solr.common.util.NamedList;
import org.junit.Test;
/**
* 支持一些高级特性 比如高亮 分类 分组 mtl(相似)
{"id":"1","country_s":"美国","provice_s":"加利福尼亚州","city_s":"旧金山","age_i":"30","name_s":"John","desc_s":"John is come from austrina John,s Dad is Johh Super"}
{"id":"2","country_s":"美国","provice_s":"加利福尼亚州","city_s":"好莱坞","age_i":"40","name_s":"Mike","desc_s":"Mike is come from austrina Mike,s Dad is Mike Super"}
{"id":"3","country_s":"美国","provice_s":"加利福尼亚州","city_s":"圣地牙哥","age_i":"50","name_s":"Cherry","desc_s":"Cherry is come from austrina Cherry,s Dad is Cherry Super"}
{"id":"4","country_s":"美国","provice_s":"德克萨斯州","city_s":"休斯顿","age_i":"60","name_s":"Miya","desc_s":"Miya is come from austrina Miya,s Dad is Miya Super"}
{"id":"5","country_s":"美国","provice_s":"德克萨斯州","city_s":"大学城","age_i":"70","name_s":"fubos","desc_s":"fubos is come from austrina fubos,s Dad is fubos Super"}
{"id":"6","country_s":"美国","provice_s":"德克萨斯州","city_s":"麦亚伦","age_i":"20","name_s":"marry","desc_s":"marry is come from austrina marry,s Dad is marry Super"}
{"id":"7","country_s":"中国","provice_s":"湖南省","city_s":"长沙市","age_i":"18","name_s":"张三","desc_s":"张三来自长沙市 是公务员一名"}
{"id":"8","country_s":"中国","provice_s":"湖南省","city_s":"岳阳市","age_i":"15","name_s":"李四","desc_s":"李四来自岳阳市 是一名清洁工"}
{"id":"9","country_s":"中国","provice_s":"湖南省","city_s":"株洲市","age_i":"33","name_s":"李光四","desc_s":"李光四 老家岳阳市 来自株洲 是李四的侄子"}
{"id":"10","country_s":"中国","provice_s":"广东省","city_s":"深圳市","age_i":"67","name_s":"王五","desc_s":"王五来自深圳市 是来自深圳的一名海关缉私精英"}
{"id":"11","country_s":"中国","provice_s":"广东省","city_s":"广州市","age_i":"89","name_s":"王冠宇","desc_s":"王冠宇是王五的儿子"}
*/
public class TestCloud {
/**
* 连接solrcloud
* @return
*/
public CloudSolrClient getCloudSolrClient(){
String zkHost="localhost:2181";
CloudSolrClient csc=new CloudSolrClient(zkHost);
csc.setDefaultCollection("collection1");//集合名称
return csc;
}
/**
* solrcloud保存 修改 删除和单机相同
*/
@Test
public void save() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
UserInfo ui=new UserInfo();
ui.setId("4");
ui.setName_s("王五");
ui.setAge_i(100);
csc.addBean(ui);
csc.commit();
csc.close();
}
/**
* solrcloud 删除
*/
//@Test
public void delete() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
csc.deleteByQuery("*:*");
csc.commit();
csc.close();
}
/**
* solrcloud高亮显示
* 必须设置中文分词器
*/
@Test
public void queryHign() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
SolrQuery sq=new SolrQuery();
sq.setQuery("desc_s:王五");
sq.addHighlightField("desc_s");
sq.setHighlight(true);
sq.setHighlightSimplePre("<font color=red>");
sq.setHighlightSimplePost("</font>");
QueryResponse qr=csc.query(sq);
List<UserInfo> userInfo=qr.getBeans(UserInfo.class);
Map<String, Map<String, List<String>>> highlighting = qr.getHighlighting();
System.out.println(highlighting);
for(UserInfo ui:userInfo){
System.out.println(ui.getName_s());
}
System.out.println(userInfo.size());
csc.commit();
csc.close();
}
/**
* Facet 面 用于对搜索的结果进行分类
* 比如按国家分类 addFacetField 表示按某些字段进行分类是普通分类 结果为:
* country_s
美国:6
中国:5
sq.addFacetQuery("age_i:[1 TO 20]");
sq.addFacetQuery("age_i:[21 TO 50]");
sq.addFacetQuery("age_i:[51 TO *]");
可以将多个范围值 添加到FacetQuery可以获取到这些Query的统计数量 比如
{age_i:[1 TO 20]=3, age_i:[20 TO 50]=5, age_i:[50 TO *]=5}
其他 参考 https://wiki.apache.org/solr/SimpleFacetParameters#facet.query_:_Arbitrary_Query_Faceting
*/
@Test
public void queryFacet() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
SolrQuery sq=new SolrQuery();
sq.setFacet(true);
//按字段分类 相同的归于一类
sq.addFacetField("country_s");
//特殊分类 添加范围
sq.addFacetQuery("age_i:[1 TO 20]");
sq.addFacetQuery("age_i:[21 TO 50]");
sq.addFacetQuery("age_i:[51 TO *]");
//这只facet字段分类的前缀
sq.setFacetPrefix("");
//根据 count 数量 升序和降序 也可以根据索引
sq.setFacetSort("count asc");
sq.setQuery("*:*");
QueryResponse qr=csc.query(sq);
List<FacetField> ff=qr.getFacetFields();
//获取到范围分类的对应统计数量
System.out.println(qr.getFacetQuery());
//获取到根据字段分类的对应统计数量
for(FacetField ftmp:ff){
System.out.println(ftmp.getName());
List<Count> cou=ftmp.getValues();
for (Count count : cou){
System.out.println(count.getName()+":"+ count.getCount());
}
}
csc.commit();
csc.close();
}
/**
* Facet 参考https://wiki.apache.org/solr/SimpleFacetParameters#Pivot_.28ie_Decision_Tree.29_Faceting
* 可以按照多维度来进行分类
* 比如按照国家分类后 再按照省份分类(国家和省份字段不要使用中文分词器 否则分类被拆成很多类别)
*
* 结果一般为:
* 美国6:
* 加利福尼亚州3
* 德克萨斯州3
* 中国5:
* 湖南省3
* 广东省2
*/
@Test
public void queryFacetPivot() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
SolrQuery sq=new SolrQuery();
sq.setFacet(true);
//按国家和省份进行二维分类 同一个字符串使用,隔开
sq.addFacetPivotField("country_s,provice_s");
sq.setQuery("*:*");
QueryResponse qr=csc.query(sq,SolrRequest.METHOD.POST);
NamedList<List<PivotField>> ff=qr.getFacetPivot();
//获取到根据字段分类的对应统计数量
for(Map.Entry<String,List<PivotField>> me:ff){
List<PivotField> lpf=me.getValue();
for(PivotField pf:lpf){
System.out.println("一级分类:"+pf.getValue()+pf.getCount()+"---->");
List<PivotField> clpf=pf.getPivot();
for(PivotField cpf:clpf){
System.out.println("二级分类:"+cpf.getValue()+cpf.getCount());
}
}
}
csc.commit();
csc.close();
}
/**
* 分组是分类的升级 同时可以获取到分组下的一部分元素(https://cwiki.apache.org/confluence/display/solr/Result+Grouping)
分组的字段的数据如果是集群环境 要求数据被写入到一个分片中 否则无法分组查询
*/
@Test
public void queryGroup() throws IOException, SolrServerException{
CloudSolrClient csc=getCloudSolrClient();
SolrQuery sq=new SolrQuery();
//sq.setParam("shards.tolerant", true);
sq.setParam(GroupParams.GROUP,true);
sq.setParam(GroupParams.GROUP_FIELD, "country_s");
sq.setParam("group.ngroups", true);
//sq.setParam(GroupParams.GROUP_LIMIT, "5");
sq.setQuery("*:*");
sq.setRows(10);
QueryResponse qr=csc.query(sq);
GroupResponse ff=qr.getGroupResponse();
for(GroupCommand me:ff.getValues()){
System.out.println(me.getName());
List<Group> groups=me.getValues();
System.out.println(groups);
}
csc.commit();
csc.close();
}
}
六。springboot集成solr
添加springboot的maven依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>
</dependencies>
添加实体类
@SolrDocument(solrCoreName="mycore")
public class News {
@Id
@Field
private String id;
@Field(value="title_ik")
private String title ;
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
}
设置solr的主机信息 (application.yml)
spring:
data:
solr:
host: http://192.168.1.238:8983/solr
server:
port: 8888
springboot提供了基于spring jpa类似的语法操作solr 比如
package cn.ps.dao;
import java.util.List;
import org.springframework.data.repository.query.Param;
import org.springframework.data.solr.repository.Query;
import org.springframework.data.solr.repository.SolrCrudRepository;
import cn.ps.entity.News;
public interface NewDao extends SolrCrudRepository<News, String> {
/**
* 名字的规范 可以使用 findByTitle表示按照title来查 等价于 title:?0
* 比如findByNameAndPopularity 就是两个条件组合来查 name:?0 AND Popularity:?1
* 具体比如范围 大小 in等参考 springdatasolr query-methods章节
* https://docs.spring.io/spring-data/solr/docs/2.1.14.RELEASE/reference/html/#solr.query-methods
* @param title
* @return
*/
public List<News> findByTitle(String title);
/**
* 如果不是特定的方法名可以使用 Query中指定查询条件
* @Query中可以制定filters 查看的列 fields
* @param title
* @return
*/
@Query(value="title_ik:?0")
public List<News> queryT(@Param("title")String title);
}
同时提供 SolrTemlate直接操作底层的solrj相关api
在配置类 实例化
@Bean
public SolrTemplate solrTemplate(SolrClient client) {
return new SolrTemplate(client);
}
控制层装配 并使用
@Autowired
private SolrTemplate solrTemplate;
@Autowired
private NewDao newDao;
@RequestMapping("/query")
public Iterable<News> query() {
Iterable<News> findAll = newDao.findAll();
return findAll;
}
@RequestMapping("/queryAnno")
public List<News> queryAnno(String title) {
return newDao.queryT(title);
}
@RequestMapping("/queryHign")
public List<News> queryHign(String title) {
SimpleHighlightQuery query = new SimpleHighlightQuery(new SimpleStringCriteria("title_ik:"+title));
HighlightOptions highlightOptions = new HighlightOptions();
highlightOptions.setSimplePrefix("<font color=red>");
highlightOptions.setSimplePostfix("</font>");
query.setHighlightOptions(highlightOptions);
HighlightPage<News> page1 = solrTemplate.queryForHighlightPage(query, News.class);
//�����б� Ҫ�