[Nutch]Solr配置自定义的中文分词器mmseg4j

最新推荐文章于 2021-04-15 10:27:32 发布
原创 最新推荐文章于 2021-04-15 10:27:32 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nutch #solr #索引 #mmseg4j #luke

本文档详细介绍了如何在Solr中配置并使用mmseg4j中文分词器，通过解压、复制分词器到Solr目录，修改schema.xml，以及建立索引等步骤，显著改善了分词效果。

上一篇博文我们有使用LUKE工具来查看使用solrindex产生的索引的具体内容，从里面可以看到，默认的分词很乱，所以这篇博文我们就使用mmseg4j中文分词器。

1. 下载mmseg4j

点击mmseg4j-1.8.5 .zip，进入下载页面。

2. 解压mmseg4j-1.8.5.zip

将下载的mmseg4j-1.8.5.zip文件放到workspace目录下面，在workspace目录使用如下命令解压到mmseg4j-1.8.5目录：

unzip mmseg4j-1.8.5\ .zip -d mmseg4j-1.8.5

解压过程：
这里写图片描述

可以从解压过程看到有一个带有词典的分词：

mmseg4j-all-1
最低0.47元/天 解锁文章
配置Solr搜索引擎和Solr中文分词库
Huangjunqi23的博客
03-26 1366
配置Solr搜索引擎和Solr中文分词库
Solr5.0配置中文分词包
wxshi的专栏
05-07 1959
solr5.0自带的中文分词，一般能满足基本需求
自定义Solr分词器
04-02
自定义的Solr 分词器，可以通过竖线"|"来分词，可以在博客http://blog.csdn.net/jiangchao858/article/details/68954044看到生成过程与使用步骤。
Solr通过特殊字符分词实现自定义分词器详解
08-29
最近因为工作的需要，要做一个分词器，通过查找相关的资料最终用solr实现了，下面这篇文章主要给大家介绍了关于Solr通过特殊字符分词实现自定义分词器的相关资料，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
solr中文分词器
12-12
solr全文检索引擎默认对中文的支持不好，使用中文分词器后可以准确的按照中文词语进行分词，该资源是其中一种，测试环境：linux
solr自定义分词器
netboy
06-15 3497
一、调用大概过程： TokenizerChain类的createComponents(String fieldName, Reader aReader)会调用在schema中注册的分词器工厂类和过滤器的工厂类分别调用工厂类的create()方法创建对应的实例，代码如下： protected TokenStreamComponents createComponents(String fi
基于Apache Nutch和Solr的AJAX页面内容爬取与处理设计源码
最新发布
04-17
本项目是基于Apache Nutch和Solr开发的AJAX页面内容爬取与处理设计源码，主要使用Java进行开发。项目共包含1064个文件，其中Java源代码文件458个，XML配置文件181个，文本文件81个，HTML页面文件56个，JPG图片文件56...
基于Nutch中文分词的研究与实现
10-26
作为舆情监测系统的一部分，本文的目标是基于Nutch，同时，结合目前最常用中文分词技术，根据不同的中文分词方法，实验并得出不同分词方法在性能以及使用环境上的优缺点，以此为舆情监测系统选择合适的中文分词方法...
solr自定义分词
cihongmo6452的博客
08-27 208
工作上，有需要对纯数字的字符串做分词，好像CJK二元分词器对这样的数字不会做分词，所以自己写了个分词器，分词器达到以下效果：对字符串"哈哈1234呵呵456"，分词后为：1 12 123 1234 4 45 456 Analyzer： packageorg.apache.lucene.a...
Solr4.7-IKAnalyzer-分词配置-自定义IKTokenizerFactory
02-28
在做IK分词器与solr过滤器结合是时候遇到一些问题，<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> 在网上页找了一些jar包或者class，最后找到一个合适的源码，解决了问题。 另外根据产品需要使用了solr的WordDelimiterFilterFactory和ShingleFilterFactory。 通过大神的blog学习到了好多--blog.csdn.net/sqh201030412/article/details/51693340
solr以及中文分词器
04-25
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
java solr 分词器,solr 自定义分词器 | 学步园
weixin_39884078的博客
03-13 256
今天需要将一个以逗号分隔的字段建立到索引库中去，没找到有现成的逗号分隔符分词器，于是看了看源码里空格分词器WhitespaceTokenizerFactory的写法。照葫芦画瓢写了一个逗号分词器：package com.besttone.analyzer;import java.io.Reader;import java.util.Map;import org.apache.solr.analys...
solr 自定义分词器
xiao_jun_0820的专栏
05-08 2983
今天需要将一个以逗号分隔的字段建立到索引库中去，没找到有现成的逗号分隔符分词器，于是看了看源码里空格分词器WhitespaceTokenizerFactory的写法。照葫芦画瓢写了一个逗号分词器：package com.besttone.analyzer; import java.io.Reader; import java.util.Map; import org.apache.s
自定义Solr的分词器实现拼音首字母自动提示
11-26 416
Solr的分词器在建索引和查询时使用，配置schema.xml文件时需要为字段的类型配置索引(index)和查询（query）时的分词器，一般索引和查询都会使用同一种分词器，确保按某种方式建立的索引也能以相同的分词方式检索出来。Solr支持自定义的分词器，只需要在schema.xml配置即可（...
【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典
Jonathan.Wei的专栏
01-16 7605
之前写的Apache Solr只介绍了简单的搭建以及导入数据等功能，最近由于项目要求，添加索引分词和搜索分词功能；分词的项目有包括好几个：
Solr配置IK中文分词器和自定义分词停词
weixin_43085797的博客
04-15 1015
ik中文分词器下载 第一步：把IK-Analyzer-7.2.1.jar添加到apache-tomcat-9.0.43\webapps\solr\WEB-INF\lib目录下。 第二步：复制IKAnalyzer的配置文件IKAnalyzer.cfg.xml和自定义词典ext.dic和停用词词典stopword.dic到apache-tomcat-9.0.43\webapps\solr\WEB-INF\classes下。这一步是用来配置自定义分词和自定义停词的，一些专有名词，我们希望它能够作为独立的词条，这叫
solr添加中文IK分词器,以及配置自定义词库
weixin_34029949的博客
05-08 258
Solr是一个基于Lucene的Java搜索引擎服务器。Solr提供了层面搜索、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Sol...
Solr之SolrCloud配置mmseg4j同义词
任何技能都是从模仿开始，逐步升华。
07-02 1625
前提，已经安装配置好Tomcat与Solr，并且配置好mmseg4j中文分词。
IK分词集成Solr异常处理及自定义词库技巧
4. 修改Solr的schema配置文件（例如`managed-schema`），配置相应的字段类型以使用IK分词器。 5. 重启Solr服务，应用配置。 常见问题可能包括： - 自定义词库文件格式不正确导致加载失败。 - IK分词器版本和Solr...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值