solr自定义分词器

最新推荐文章于 2024-04-07 11:25:17 发布
最新推荐文章于 2024-04-07 11:25:17 发布
阅读量3.1k 收藏 1
点赞数 2
分类专栏： solr 文章标签： solr 自定义分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33157666/article/details/76350750
版权
本文介绍了如何在Solr中自定义分词器，以实现根据特定字符（例如逗号和竖线）进行分词。通过创建自定义的MyVerticalLineTokenizer类，并将其打包成jar文件，添加到Solr的lib目录，然后在Solr配置中定义新的field类型，实现了不同于默认分词器的分词效果。
摘要由CSDN通过智能技术生成

目的：在对英文句子分词的时候，一般采用采用的分词器是WhiteSpaceTokenizerFactory，有一次因业务要求，需要根据某一个特殊字符（以逗号分词，以竖线分词）分词。如图1，我输入的词，如果用ik分词器，会分成如图1的效果，用自定义按逗号分割的分词器，会分成如图2的效果。

 图(1)

 

 图(2)

1.加入jar包

<dependency> 

 <

最低0.47元/天 解锁文章
幸福棒棒糖__fxx
关注
专栏目录
solr中文分词器
12-12
solr全文检索引擎默认对中文的支持不好，使用中文分词器后可以准确的按照中文词语进行分词，该资源是其中一种，测试环境：linux
Solr通过特殊字符分词实现自定义分词器详解
08-29
《Solr自定义分词器实现特殊字符分词详解》 在信息检索和文本分析领域，分词是至关重要的步骤，它将原始文本拆分成可处理的词汇单元。Apache Solr，作为流行的全文搜索引擎，提供了丰富的分词工具，但有时默认的...
solr学习篇（二） solr 分词器篇
azkn80417613的博客
07-05 188
　　关于solr7.4搭建与配置可以参考solr7.4 安装配置篇在这里我们探讨一下分词的配置 目录 　　关于分词 　　配置分词 　　验证成功 1.关于分词 　　1.分词是指将一个中文词语拆成若干个词，提供搜索引擎进行查找，比如说：北京大学 是一个词那么进行拆分可以得到：北京与大学，甚至北京大学整个词也是一个语义 　　2.市面上常见的分词工具有 IKAnalyzer...
Solr分词器
java coder https://github.com/pmsyn/ https://gitee.com/pmsyn
01-11 322
Solr常用分词器： mmseg4j：https://github.com/chenlb/mmseg4j-solr ik-analyzer：https://code.google.com/archive/p/ik-analyzer/ Stanford NLP：http://nlp.stanford.edu/software/segmenter.shtml    ...
Solr分词器、过滤器、分析器。
孤芳不自赏
10-24 945
博文中的内容来源《Solr教程》这本书，感激不尽。
自定义Solr分词器
04-02
自定义的Solr 分词器，可以通过竖线"|"来分词，可以在博客http://blog.csdn.net/jiangchao858/article/details/68954044看到生成过程与使用步骤。
solr ik分词器
10-24
Solr是中国最流行的开源搜索引擎平台之一，而IK Analyzer是一款针对中文的高性能分词器，尤其在处理现代汉语的复杂情况时表现出色。本教程将详细解释如何在Solr中安装和使用IK分词器。 首先，让我们理解一下什么是...
Solr.分词器总览
Wild__Child的博客
10-10 1404
2021SC@SDUSC 分词器概述代码分析代码概述TokenStream抽象类中的import包分析 分词器概述 首先我们需要明确的是Solr 是一个基于 Apache Lucene 之上的搜索服务器，这也意味着Lucene相当于solr的底层，Solr中的源代码包含着Lucene的源代码，所以本次博客首先分析的代码为Lucene中analyzer的代码。 所谓Analyzer就是词法分析器，分词器。 分词器是Lucene以及Solr中极其重要的一个部分，在创建索引时需要分词器，在检索时同样需要分词器，
Solr配置分词器
chisiti9654的博客
08-07 235
一、版本信息 solr版本：4.6.0 需要ik-analyzer版本：IK Analyzer 2012FF_hf1 ik-analyzer下载地址：http://code.google.com/p/ik-analyzer/downloads/list 二、配置步骤 下载压缩解压后得...
solr以及中文分词器
04-25
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
solr搭建（含拼音检索，三种分词器，停词器，扩展词库）
01-16
solr的基本搭建，拼音检索，三种分词器（smartcn ，IK，mmseg4j）的安装，停词器的安装
IKAnalyzer 分词器支持中文分词多元分词
05-11
IKAnalyzer 分词器支持中文分词多元分词
solr mysql 分词_Solr中配置分词器
weixin_39633054的博客
01-30 176
Solr中配置分词器为什么要用分词器：在solr中搜索酒店：使用条件查询：输入全名可以查到。使用条件查询：输入部分名字查不到对于关键词“北京首都大酒店”，用户输入“北京首都大酒店”，“北京大酒店”，“首都大酒店”等，最好都能搜索到想要的数据。这种搜索方式叫“全文检索”。全文检索：只要其中有，就算可以。如：搜“北京”:“中国，北京市”“北京大兴国际机场”“我爱北京天安门”以上都可以算作搜索出的结果。...
五、Solr 安装中文分词器
w13511069150的博客
11-10 279
一、分词器配置 https://repo1.maven.org/maven2/com/github/magese/ik-analyzer/8.3.0/ik-analyzer-8.3.0.jar IK 分启器 支持 sole7、8的版本
Solr-分词器配置（九）
口袋里的小龙的专栏
12-21 485
Solr-分词器配置
Solr：分词 Analysis
最新发布
qq_33240556的博客
04-07 460
Apache Solr 中的分词（Tokenization）是文本分析（Analysis）过程中的关键步骤，它将原始文本分解为一系列离散的词汇单元（tokens），这些单元是索引和搜索的基本单位。Solr 提供了多种内置分词器（Tokenizers）以及可配置的分词规则，以适应不同的语言特性和业务需求。
搜索引擎系列Solr：配置IK分词器
CancerKing的博客
12-01 562
搜索引擎系列Solr：配置IK分词器
二、Solr配置中文分词器IKAnalyzer并配置业务域
这个名字想了很久
06-05 3466
【转载自】http://www.cnblogs.com/jalja/p/6501150.html 一、solr域的介绍 在solr中域的概念与lucene中域的概念相同，数据库的一条记录或者一个文件的信息就是一个document，数据库记录的字段或者文件的某个属性就是一个Field域，solr中对索引的检索也是对Field的操作。lucene中对域的操作是通过代码，solr对域的管理是通过
Solr 3.5与Tomcat 6集成教程：自定义分词器配置详解
本文档主要介绍了如何在Solr 3.5版本与Tomcat 6.0.35环境中集成，并且自定义分词器使用mmseg4j。以下是详细的步骤和配置： 1. 环境准备: - Solr 3.5.0：这是一个强大的全文搜索服务器，支持多种语言的文本分析。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值