solr默认分词顺序

最新推荐文章于 2020-05-05 21:21:41 发布
最新推荐文章于 2020-05-05 21:21:41 发布
阅读量594 收藏
点赞数
分类专栏： Apache Jakarta 文章标签： solr 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phantomhu/article/details/2050998
版权


Solr建立索引和对关键词进行查询都得对字串进行分词，在向索引库中添加全文检索类型的索引的时候，Solr会首先用空格进行分词，然后把分词结果依次使用指定的过滤器进行过滤，最后剩下的结果才会加入到索引库中以备查询。分词的顺序如下：
索引
1：空格whitespaceTokenize
2：过滤词StopFilter
3：拆字WordDelimiterFilter
4：小写过滤LowerCaseFilter
5：英文相近词EnglishPorterFilter
6：去除重复词RemoveDuplicatesTokenFilter
查询
1：查询相近词
2：过滤词
3：拆字
4：小写过滤
5：英文相近词
6：去除重复词
以上是针对英文，中文的除了空格，其他都类似 
phantomhu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
solr以及中文分词器
04-25
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
solr4.3默认的分词器
tao_wei162的博客
11-02 332
solr4.3默认的分词器是一元分词器，这个本来就是对英文进行分词的，英文大部分就是典型的根据空格进行分词，而中文如果按照这个规则，那么显然是要有很多的冗余词被分出来，一些没有用的虚词，数词，都会被分出来，影响效率不说，关键是分词效果不好，所以可以利用solr的同步发行包smartcn进行中文切词，smartcn的分词准确率不错，但就是不能自己定义新的词库，不过smartcn是跟solr同步的...
SOLR配置默认的一元分词与安装主流的中文分词扩展
阿凡提煮鸡蛋
10-31 252
引言：SOLR用的好不好，分词是关键，分词分的好不好，词库是关键。没有完美的分词和词库，只有更适合你网站的分词和词库。 目前网络上主流的SOLR分词模块： 1、庖丁分词：PAODING 参考地址：http://code.google.com/p/paoding/ 2、老牌的mmseg4j 参考地址：http://code.google.com/p/mmseg4j/ 这个分词应用非...
Solr5.2.1学习笔记-3-分词配置
技术大神之路
08-18 1054
先上官方文档：http://www.solr-start.com/info/analyzers/ 为啥要自定义分词器？ Index建立时是按分词器的分词结果得到的词进行索引的。Solr默认无中文分词器，因此要自定义分词器。在server\solr-webapp\webapp\WEB-INF\lib下存放了运行时Lib包，分词器中引用的jar包应放在此目录下。以配置smart分词器为例： 1 将
Solr 中文分词
07-23 356
这里不是本人写的，只是转发，为了记住地址，也顺便分享一下 https://blog.csdn.net/huangliuyu00/article/details/79491513
solr ik分词器
10-24
solr安装ik分词器将jar复制到solr\WEB-INF\lib 中 具体使用：https://mp.csdn.net/postedit
solr 中文分词
08-25
solr 中文分词
solr中文分词器
12-08
solr中文分词器
全文检索分词顺序
imjl
01-31 160
索引 1： 空格，，whitespaceTokenize 2： 过滤词，，，StopFilter 3： 拆字，，，，WordDelimiterFilter 4： 小写过滤 ，，，LowerCaseFilter 5： 英文相近词，，，EnglishPorterFilter 6： 去除重复词，，，RemoveDuplicatesTokenFilter 查询 1： 查询相近词 2： 过滤词 3： 拆...
solr的索引和查询顺序
caoliangbo的博客
03-03 271
转载：http://heweiya.iteye.com/?show_full=true   　拜读了solr的部分源码,却急于弄明白solr的索引顺序和查询顺序,如下是探访结果. 　所有的配置都在solr/example/solr/conf/schema.xml当中.   Xml代码 <!--　如下是对text类型的处理　-->    &...
Solr--Solr配置中文分词器
我和井盖都笑了博客
05-05 342
配置中文分词器(IK Analyzer) 1.上传中文分词器 jar 包 2.解压,并将配置文件和jar包上传 3.配置分词器类型     1 上传中文分词器 jar 包，以及配置文件     2 将中文分词器的配置文件拷贝到Solr项目 /WEB-INF/classes 目录下 (在 solr 中的 WEB-...
solr
guyatao13的专栏
07-14 2994
solr Highlighter (高亮)显示分析 2012-10-29 18:28 本文原创，转载请说明出处：http://ronxin999.blog.163.com/blog/static/42217920201292951457295/ solr 高亮显示是根据我们搜索的内容中，根据搜索的关键字，在内容中取一段摘要，类似百度，google搜索结果中出现关键字的一段描述
solr 6.6 分词
xiejunjie1的专栏
07-06 2050
１、内置分词器StandardTokenizerFactory 是solr的内置分词器。大概在managed-schema文件的380行能找到。<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100" multiValued="true">
solr 7配置中文分词器
热门推荐
huangliuyu00的博客
03-08 1万+
solr 7配置中文分词器     这里示例配置solr官方提供的Smartcn的中文分词、IK的中文分词及拼音分词 1、配置smartcn中文分词器 solr安装包有提供Smartcn中文分词架包，在SOLR_ROOT/contrib/analysis-extras/lucene-libs/下，我这里使用solr 7.2.1，所以架包名称为lucene-analyzers-...
[3]Solr7.2.1添加自带的中文分词
翻身了，咸鱼！
03-01 3957
新的一个月开始了,写个blog清醒下今天写一下,solr7.2.1版本的添加中文分词1.切换到solr的bin 目录启动solrsolr.cmd start2.新建一个Core,名字为BBB 参考: http://blog.csdn.net/a897180673/article/details/794039523.复制jar包到solr 的web app我们访问的 127.0.0.1:8983
Solr评分排序机制
sunyang098的博客
11-17 5059
1      默认评分排序规则 1.1    默认评分规则 Solr是基于Lucene的，评分规则也是基于Lucene，具体详情参考“Lucene评分机制.docx”文档, 网页版：http://blog.csdn.net/a822631129/article/details/78550439 1.2    排序规则 1.无特殊排序要求时,根据查询相关度（评分）来进行排序 2.指定一个
solr 6.3安装ik分词器（5和5以上的版本通用）
Barbarousgrowth_yp的博客
04-27 887
兄弟们，血的教训啊，ik分词器配了好几天，一直不通过，终于弄好了。中文分词在solr里面是没有默认开启的，需要自己配置一个中文分词器。目前可用的分词器有smartcn，IK，Jeasy，庖丁。其实主要是两种，一种是基于中科院ICTCLAS的隐式马尔科夫HMM算法的中文分词器，如smartcn，ictclas4j，优点是分词准确度高，缺点是不能使用用户自定义词库；另一种是基于最大匹配的分词器，如IK...
solr排序问题
weixin_30691871的博客
08-13 358
搜搜引擎排序问题，因为涉及到的维度比较多，有时候单纯的依靠sort是无法满足需要的，例如：搜索商品的时候我希望不管怎么排无货的商品都置底，这样问题就来了，怎么排？ 其实，solr是自己的解决方案的，比如：dismax、edismax两种支持函数查询，关于solr函数查询更多的信息，看这里。 因为工作的需要，需要对搜索做排序，这里我记录下我的处理方法，搜索的商品要把无货的置...
SOLR 性能调优
01-11 1598
索引建立的性能因素1）参数mergeFactor 表明索引段合并时所具有索引段的数量，即索引段合并的频率。该值越大，则索引合并频率越低，索引建立的速度快。反之将造成建立索引的开销加大。但是值得注意的是如果配置过大，容易出现表中mergeFactor=100 时的极端情形，索引文件成级数量增长而不会合并造成了系统打开文件数量过大，系统资源消耗殆尽，处理效率极其低下。在实际应用中，如果索引是增量式发展
solr 9.2.0版本默认的IK分词配置
最新发布
05-05
Solr 9.2.0版本默认使用的是Lucene的StandardTokenizer和LowerCaseFilter，不包含IK分词器配置。如果需要使用IK分词器，需要手动配置。 以下是一个简单的IK分词器配置示例： 1. 下载IK分词器的jar包（比如ik-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值