solr 中文分词器配置

最新推荐文章于 2024-06-28 10:02:40 发布
最新推荐文章于 2024-06-28 10:02:40 发布
阅读量380 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skk_7/article/details/50149869
版权

solr 版本4.10.4

ik-analyzer版本：IK Analyzer 2012FF。

IK Analyzer 2012FF迁移到osc git 地址：http://git.oschina.net/wltea/IK-Analyzer-2012FF

下载后找到dist目录


把IKAnalyzer2012FF_u1.jar或者IKAnalyzer2012_FF.jar拷贝到solr服务的solr\WEB-INF\lib下面。

把IKAnalyzer.cfg.xml、stopword.dic拷贝到需要使用分词器的core的conf下面，和core的schema.xml文件一个目录。


修改schema.xml，在配置项间加一段如下配置：

<fieldType name="text_ik" class="solr.TextField">   
     <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
</fieldType>

<field name="name"      type="text_ik"   indexed="true"  stored="true"  multiValued="false" /> 



重启tomcat服务，最后中文分词结果：


skk_7
关注
solr中文分词器
12-12
Solr中文分词器是针对Apache Solr全文检索引擎在处理中文文本时的不足而设计的一种解决方案。Solr默认的分词策略主要针对英文文本，它以空格为分隔符进行分词，而对于中文这种没有明显分隔符的语言，就需要特定的...
solr ik分词器
10-24
Solr是中国最流行的开源搜索引擎平台之一，而IK Analyzer是一款针对中文的高性能分词器，尤其在处理现代汉语的复杂情况时表现出色。本教程将详细解释如何在Solr中安装和使用IK分词器。 首先，让我们理解一下什么是...
Solr安装IK中文分词器
陆漫漫的博客
06-28 447
我们才Schema中重新添加字段，并选择字段对应的type就可以了，我们在dataimport中将查询出来的数据对应到school_name就可以。由于solr自带的分词器无法将中文根据语义分词，需要引入中文分词器IKAnalyzer。由于我在windows上没有看到具体的重启命令，所以这里我我是先关闭再启动。我们直接下载jar包就可以了。
Solr：配置IK中文分词器
qq_33240556的博客
04-07 628
从IK分词器的官方仓库、GitHub或其他可信来源下载适用于您Solr版本的IK分词器JAR包。确保下载的版本与您的Solr版本兼容。例如，如果您使用的是Solr 8.x版本，应下载对应版本的IK分词器。对于Solr服务的重启方式，请参考您的Solr部署指南或相关文档。至此，Solr已成功配置为使用IK中文分词器处理指定字段的中文文本。如果您的Solr部署结构不同，请确保将JAR文件放置到Solr实例能够加载到类路径的位置。可以根据需要添加或调整IK分词器的其他参数以及后续的分析器组件（如过滤器）。
solr快速上手：配置IK中文分词器（七）
55555的博客
06-10 2315
IK中文分词器是一个国人开源的，基于java开发的轻量级中文分词器，能够实现对中文进行自然语言处理，并且支持自定义分词库，IK分词器本身也支持英文和数字的分词，满足中英文混合的业务场景。为什么需要中文分词器？我们可以在solr Analysis中进行分词，采用默认的英文分词器，可以看到中文被切分成了单个汉字，而按照自然语言来讲，我们更希望将其分词为俺中国man，这样本身也符合语言习惯，同时不用单个字分词，也节约了存储空间，所以我们需要更加灵活的中文分词器这种。
solr 添加中文分词器
java初级学习
02-28 653
solr 添加中文分词器
Solr.分词器总览
Wild__Child的博客
10-10 1413
2021SC@SDUSC 分词器概述代码分析代码概述TokenStream抽象类中的import包分析 分词器概述 首先我们需要明确的是Solr 是一个基于 Apache Lucene 之上的搜索服务器，这也意味着Lucene相当于solr的底层，Solr中的源代码包含着Lucene的源代码，所以本次博客首先分析的代码为Lucene中analyzer的代码。 所谓Analyzer就是词法分析器，分词器。 分词器是Lucene以及Solr中极其重要的一个部分，在创建索引时需要分词器，在检索时同样需要分词器，
Solr中文分词器配置-03
汣栀的博客
04-08 231
分词 分词是指将一个中文词语拆成若干个词，提供搜索引擎进行查找，比如说：北京大学 是一个词那么进行拆分可以得到：北京与大学，甚至北京大学整个词也是一个语义 市面上常见的分词工具有 IKAnalyzer MMSeg4j Paoding等 这里我们使用IKAnalyzer分词器 首先解压文件 将ikanalyzer-solr5中的两个jar包复制到solr项目的lib中：Solr\apache-t...
solr自定义分词器
zhaocuit的博客
05-14 1931
一、概述 分析器（Analyzer） 分析器是包括两个部分：分词器和过滤器。 分词器顾名思意就是将句子分词单个的词 过滤器就是对分词的结果进行筛选，例如中文中将“的”“呀”这些对句子主体意思影响不大的词删除。英语中类似的就是”is”，”a”等等。 通常在索引和分词两端应该采用同样
solr mysql 分词_Solr中文分词器配置及数据检索
weixin_32181267的博客
01-19 154
导入MySQL数据*然后：这次我用的是article这张表，所以在以前的配置上要改相应的配置文件(schema.xml、data-config.xml)，将IKAnalyzer2012_FF_hf1.jar拷贝到/solr/WEB-INF/lib，注意：必须是IKAnalyzer2012_FF_hf1.jar，别的jar包好像不怎么好使，我试了好几个jar包。schema.xml：其中"text_...
给solr添加中文分词器IK
cherry_vicent的专栏
09-27 350
最近，很多朋友问我solr 中文分词配置的问题，都不知道怎么配置，怎么使用，原以为很简单，没想到这么多朋友都有问 题，所以今天就总结总结中文分词的配置吧。 　　有的时候，用户搜索的关键字，可能是一句话，不是很规范。所以在 Solr 中查询出的时候，就需要将用户输入的关键字进行分词。 　　目前有很多优秀的中文分词组件。本篇只以 IKAnalyzer 分词为例，讲解如何在 sol...
Solr配置中文分词器ik-analyzer
yyhzzzzzz的博客
07-15 422
Solr配置中文分词器ik-analyzer
solr分词器
06-23
在实际应用中，Solr的分词器配置可以在schema.xml文件中进行，通过设置analyzer元素来指定分词器类型和相关参数。同时，可以通过Solr的分析器工具（Analysis UI）来实时查看分词效果，方便调试和优化。 总的来说，...
中国行政村区划代码及地理坐标-最新数据.zip
最新发布
11-17
中国行政村区划代码及地理坐标-最新数据.zip
pocketsphinx-0.1.15-cp35-cp35m-win_amd64.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
中国固定资产投资统计年鉴全集（1950-2021）.zip
11-17
中国固定资产投资统计年鉴全集（1950-2021）.zip
常用基础元件的PCB封装库SchLib/IntLib通用原理图库OV系列CMOS图像传感器
11-17
常用基础元件的PCB封装库SchLib/IntLib通用原理图库OV系列CMOS图像传感器提取方式是百度网盘分享地址
c++控制台RPG小游戏
11-17
这是一个比较完成的RPG游戏，包含了： 交易模块, 任务模块,技能模块,BUFF 模块, 背包模块,地图模块,基本涵盖了一个普通RPG游戏的所有元素
yolo算法-人-火灾数据集-9700张图像带标签-人-火灾.zip
11-17
yolo系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法； 包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中; yolo格式：<class> <x_center> <y_center> <width> <height>， 其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值
Docker部署Solr 8.6.2，详解中文分词器配置教程
5. **整合分词器**：在Solr的配置中，需要确保这些新复制的分词器库被正确引用和集成，以实现中文文本的分析和索引。 通过以上步骤，读者可以了解到如何在一个Docker容器中成功地安装和配置Solr 8.6.2，以及如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值