[Nutch]Solr配置自定义的中文分词器mmseg4j

最新推荐文章于 2021-08-17 09:54:49 发布
最新推荐文章于 2021-08-17 09:54:49 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： Nutch Nutch深入学习 文章标签： nutch solr 索引 mmseg4j luke
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kandy_ye/article/details/51339208
版权
本文档详细介绍了如何在Solr中配置并使用mmseg4j中文分词器，通过解压、复制分词器到Solr目录，修改schema.xml，以及建立索引等步骤，显著改善了分词效果。
摘要由CSDN通过智能技术生成

上一篇博文我们有使用LUKE工具来查看使用solrindex产生的索引的具体内容，从里面可以看到，默认的分词很乱，所以这篇博文我们就使用mmseg4j中文分词器。

1. 下载mmseg4j

点击mmseg4j-1.8.5 .zip，进入下载页面。

2. 解压mmseg4j-1.8.5.zip

将下载的mmseg4j-1.8.5.zip文件放到workspace目录下面，在workspace目录使用如下命令解压到mmseg4j-1.8.5目录：

unzip mmseg4j-1.8.5\ .zip -d mmseg4j-1.8.5

解压过程：
这里写图片描述

可以从解压过程看到有一个带有词典的分词：

mmseg4j-all
最低0.47元/天 解锁文章
kandy_ye
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自定义Solr分词器
04-02
自定义的Solr 分词器，可以通过竖线"|"来分词，可以在博客http://blog.csdn.net/jiangchao858/article/details/68954044看到生成过程与使用步骤。
基于Nutch中文分词的研究与实现
10-26
作为舆情监测系统的一部分，本文的目标是基于Nutch，同时，结合目前最常用中文分词技术，根据不同的中文分词方法，实验并得出不同分词方法在性能以及使用环境上的优缺点，以此为舆情监测系统选择合适的中文分词方法...
solr自定义分词器
zhaocuit的博客
05-14 1885
一、概述 分析器（Analyzer） 分析器是包括两个部分：分词器和过滤器。 分词器顾名思意就是将句子分词单个的词 过滤器就是对分词的结果进行筛选，例如中文中将“的”“呀”这些对句子主体意思影响不大的词删除。英语中类似的就是”is”，”a”等等。 通常在索引和分词两端应该采用同样
Solr使用IKAnalyzer中文分词器配置教程
cyb_123的博客
08-17 1065
Solr使用IKAnalyzer中文分词器配置教程文件准备开始配置1.将分词器jar包放到自定义lib目录下2.将IKAnalyzer.cfg.xml配置文件放到core的conf目录下3.将分词词典放到随意目录下，记住路径4.修改IKAnalyzer.cfg.xml配置中的词典路径，和3一致5.修改schema.xml配置文件，添加分词类型6.修改solr.in.sh配置文件7.重启solr，将配置生效查看效果 文件准备 IK分词器文件有三个：分词器jar包，配置文件和分词词典 jar包下载地址：点
java solr 分词器,solr 自定义分词器 | 学步园
weixin_39884078的博客
03-13 171
今天需要将一个以逗号分隔的字段建立到索引库中去，没找到有现成的逗号分隔符分词器，于是看了看源码里空格分词器WhitespaceTokenizerFactory的写法。照葫芦画瓢写了一个逗号分词器：package com.besttone.analyzer;import java.io.Reader;import java.util.Map;import org.apache.solr.analys...
Solr自定义分词器-通过特殊字符分词
随-记的专栏
04-02 5964
摘要： 在对英文句子分词的时候，一般采用采用的分词器是WhiteSpaceTokenizerFactory，有一次因业务要求，需要根据某一个特殊字符（以逗号分词，以竖线分词）分词。感觉这种需求可能与WhiteSpaceTokenizerFactory相像，于是自己根据Solr源码自定义了分词策略。业务场景有一次，我拿到的数据都是以竖线“|”分隔，分词的时候，需要以竖线为分词单元。比如下面的这一堆数据
基于Apache Nutch和Solr的AJAX页面内容爬取与处理设计源码
最新发布
04-17
本项目是基于Apache Nutch和Solr开发的AJAX页面内容爬取与处理设计源码，主要使用Java进行开发。项目共包含1064个文件，其中Java源代码文件458个，XML配置文件181个，文本文件81个，HTML页面文件56个，JPG图片文件56...
实验报告(利用Nutch和IKanalyzer构造中文分词搜索引擎)
03-27
为了实现中文分词功能，选择了IKAnalyzer，这是一种专门为Java设计的中文分词器。尝试使用Nutch 0.9和IKAnalyzer 3.1.6GA组合，但由于版本兼容性问题导致失败，因此改用Nutch 1.2和IKAnalyzer 3.2.8，并将Tomcat升级...
Nutch中文分词插件的编写与配置
06-06
Nutch中文分词插件的编写与配置，非常详细
hadoop nutch solr 环境搭建手册
06-04
自己写的 hadoop nutch solr 环境搭建手册，成功搭建后写的，会有红色标注容易出错的地方
Solr通过特殊字符分词实现自定义分词器详解
08-29
最近因为工作的需要，要做一个分词器，通过查找相关的资料最终用solr实现了，下面这篇文章主要给大家介绍了关于Solr通过特殊字符分词实现自定义分词器的相关资料，需要的朋友可以参考借鉴，下面随着小编来一起看看吧。
solr以及中文分词器
04-25
Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。
Solr4.7-IKAnalyzer-分词配置-自定义IKTokenizerFactory
02-28
在做IK分词器与solr过滤器结合是时候遇到一些问题，<tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> 在网上页找了一些jar包或者class，最后找到一个合适的源码，解决了问题。 另外根据产品需要使用了solr的WordDelimiterFilterFactory和ShingleFilterFactory。 通过大神的blog学习到了好多--blog.csdn.net/sqh201030412/article/details/51693340
Solr6配置中文分词库mmseg4j
随-记的专栏
11-04 3535
摘要： Solr有诸多分词器，本文介绍Solr6与中文分词库mmseg4j的整合，在此之前，你需要有一个可以运行Solr的环境，参见Solr6.0与Jetty、Tomcat在Win环境下搭建/部署。准备环境 Solr6 Solr6.0与Jetty、Tomcat在Win环境下搭建/部署 mmseg4j包 mmseg4j-solr-2.3.0-with-mmseg4j-core.zip mms
solr+mmseg4j 中文分词
服务器端攻城师
01-04 4704
这篇文章是接着上面一篇文章的：http://blog.sina.com.cn/s/blog_abba9c1d0101d6tx.html 首先安装mmseg4j 官网：https://code.google.com/p/mmseg4j/ 下载地址：http://code.google.com/p/mmseg4j/downloads/list wget http://m
Solr动态加载分词器的自定义词库扩展词库解决方案
黄太洪的博客
03-09 6182
最近在做全文检索 在项目中有个需求是要动态的配置Solr的自定义扩展词库，在网上找了很多资料 发现关于这方面的知识比较少 千辛万苦终于找到了解决方案 在这里和大家分享一下1.自行下载mmseg4j有关的Java包# 适配SOLR6.2.1 mmseg4j-core-1.10.0.jar mmseg4j-solr-2.3.0.jar2.将下载好的Jar包放入webapps/solr/WEB-INF/l
Solr6自定义mmseg4j中文分词库，升级mmseg4j
随-记的专栏
11-06 3215
摘要： mmseg4j支持用户自定义词库，但是由于Solr6的API变到，使得mmseg4j无法使用自己的中文分词库，如果想使用这一功能，只能改源码了。mmseg4j 版本与其对应的Solr版本mmseg4j 1.8.3 只支持 lucene 2.9/3.0 接口 和 solr 1.4。 mmseg4j 1.8.5 支持 lucene 3.1, solr 3.1。 mmseg4j 1.9.0
"Solr的配置和使用教程，详解功能及与Nutch的配合
文章主要围绕solr的配置和使用、功能介绍以及与nutch的配合使用展开。 首先，文章介绍了企业搜索引擎方案的选型，强调solr作为一个开源的搜索引擎方案在企业中的应用价值。solr具有强大的搜索和查询功能，可以帮助...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值