解决IkAnalyzer分词后文章字符全角变半角，字母大写变小写问题

最新推荐文章于 2022-03-17 17:45:35 发布
最新推荐文章于 2022-03-17 17:45:35 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： ik分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/koproblem/article/details/70046368
版权
工作中利用ik对 文章里的字符做分词 然后返回分词后的字符 进行关键字替换
最后处理后的字符 发下文章里的全角都被ik改成了半角，英文字母如果是大写的也被ik改成了小写 ，这是ik分词内部类规则的一个特性一般用来做搜索的时候用的，这个没错，但是在我的需求里用不到这个特性所以我必须把它去掉

打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里
有个方法 叫regularize 该方法的作用是进行字符规格化（全角转半角，大写转小写处理）
显然把这个方法注释就好了 ，并且去掉相关引用地方的该方法调用
这样ik分词出来的字符就保留原先的完整性了
koproblem
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IKAnalyzer2012_FF 区分大小写版本
06-20
IKAnalyzer2012_FF默认分词是不区分大小写的，对源码进行了修改，这个版本的jar包会区分大小写。http://blog.csdn.net/koproblem/article/details/70046368
ES使用过程中的一些问题
sinat_30071601的博客
03-10 460
问题1 描述：资产编码“01FIRSTsec012017051510110”，加上FieldIndex.not_analyzed注解后，资产搜索（“FIRSTsec01”）搜不到字母与数字的模糊组合，使用analyzer = ""注解后可以搜索到 代码段： //搜索不到 @Field(type = FieldType.String, index = FieldIndex.no...
分布式搜索引擎Elasticsearch——基础
敲代码的旺财的博客
01-07 663
文章目录一、Lucene与Solr与Elasticsearch二、ES核心术语三、ES核心概念四、倒排索引五、ES的安装（centos7）1、下载地址（这里安装linux版本）2、解压压缩包3、修改配置文件(1)修改核心配置文件(2)修改JVM配置文件4、启动ES(1)添加系统用户并授权(2)ES启动(3)修改配置文件(4)再次启动ES六、安装ES-head插件（可视化管理插件）1、使用谷歌市场安...
ES自带分词器及IK分词器笔记
hello_yajing的博客
06-17 1392
一、分词 1、自带分词简单了解 standard：英文大写转小写，按空格分词，中文按单个字分词。 POST _analyze { "analyzer": "standard", "text": "Like X 国庆放假的" } 标准分析器接受下列参数： max_token_length ： 最大token长度，默认255。 stopwords ： 预定义的停止词列表，如_english_ 或包含停止词列表的数组，默认是 _none_。 stopwords_p...
java对象类传递ES中 索引字段首字母自动变成小写
weixin_45329446的博客
11-12 1501
javaPOJO类字段首字母大写 数据插入ES中字段却变成了小写 解决办法：
IkAnalyzer分词后文章字符全角变半角，字母大写变小写问题
Bazainga的博客
12-15 1151
最近在项目中药用到IK分词对文章进行分词，但是却遇到了分出来的词由大写变小写的问题，下面贴出解决方式： 打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里  有个方法 叫regularize 该方法的作用是进行字符规格化（全角转半角，大写转小写处理）  显然把这个方法注释就好了 ，并且去掉相关引用地方的该方法调用  这样ik分词出来的字符
ElasticSearch搜索时term大写搜不到而match大小写都可以搜到的问题
qq_34412985的博客
03-26 2931
1.最近在使用spring-data-elasticsearch时碰到一个问题，当查询字段是字符串时，并且传入的子串带有大写字母，这时候使用term精确查询无论字段类型是keyword还是text都是查询不到结果的，但是使用match却可以查到结果 2.各方查找资料得知乃是elasticsearch在创建倒排索引时，就已经将大写转为小写，而后写入索引； ES的建立索引过程：分词-&gt...
Elasticsearch 分词器
weixin_45761884的博客
03-17 2048
Elasticsearch 分词器 Standard Analyzer（默认） standard 是默认的分析器。它提供了基本语法的标记化（基于 Unicode 文本分割算法），适用于大多数语言。 【分词方式】区分中英文，英文按照空格切分同时大写转小写；中文按照单个词分词。 Simple Analyzer simple 分析器当它遇到只要不是字母的字符，就将文本解析成term，而且所有的 term 都是小写的。 【分词方式】 先按照空格分词，英文大写转小写，不是英文不分词。 Whitespace
IK分词器区分大小写
柳絮
03-10 760
打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里 有个方法 叫regularize 该方法的作用是进行字符规格化（全角转半角，大写转小写处理） 注释该方法内容就好了
ES分词解析
weixin_32128491的博客
09-21 4083
## 什么是分词 ``` 把文本转换为一个个的单词，分词称之为analysis。es默认只对英文语句做分词，中文不支持，每个中文字都会被拆分为独立的个体。 ``` ## es内置分词器 ``` - standard：默认分词，单词会被拆分，大小会转换为小写。 - simple：按照非字母分词。大写转为小写。 - whitespace：按照空格分词。忽略大小写。 - stop：去除无意义单词，比如the/a/an/is… - keyword：不做分词。把整个文本作为一个单独的关键词 ``` ## 分.
elasticsearch-analysis-ik2.x增加连续数字字母英语智能分词、动态词库刷新支持elasticsearch2.x以上
03-22
elasticsearch-analysis-ik根据elasticsearch-analysis-ik2.2.0基础上修改，支持elasticsearch2.2.0（已测）。增加连续数字、字母、英语及其组合智能分词（ik_smart、ik_max_word、ik_indistinct、ik_smart_indistinct启用）支持lucence5.x以上版本。 文件说明：本zip包含IKAnalyzer的src及elasticsearch可运行插件plugins两部分。 使用说明：修改src源码后可通过IKAnalzyerDemo、LuceneIndexAndSearchDemo测试分词及检索。将编译后jar包替换plugins中相应jar包即可使用。如：http://localhost:9200/xxx/_analyze?analyzer=ik_indistinct&pretty=true&text=这是个测试例子china1688
比较全的IKAnalyzer分词器中文停用词 stopwords.dic
01-03
内容直接拷贝进stopword.dic即可使用（2614行常用停用词包含中英文，符号等）
IKAnalyzer5.2.1增加连续数字、字母、英语智能分词支持solr5.x以上、lucence5.x以上版本
09-15
IKAnalyzer5.2.1根据IKAnalyzer2012FF_u1_custom基础上修改，支持lucence5.x以上版本。增加连续数字、字母、英语及其组合智能分词（可关闭isIndistinct）支持lucence5.x以上版本。配置文件：<fieldType name="text_ik" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" isIndistinct="true"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.TrimFilterFactory"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" isIndistinct="false"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.TrimFilterFactory"/> </analyzer> </fieldType>
Java IKAnalyzer 中文分词器
10-12
IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包，也就是可以将一串中文字符分割成一个个的词组或者字词 ...文件中包含分词工具 ikanalyzer-2012_u6.jar 中文分词配置 IKAnalyzer.cfg..xml
IKAnalyzer分词器
08-21
IKAnalyzer 2012_u6 jar包 IKAnalyzer.cfg.xml IKAnalyzer中文分词器V2012_U5使用手册.pdf
IKAnalyzer分词器 下载IKAnalyzer2012FF_u1.jar
01-12
IKAnalyzer分词器版本 2012 兼容Lucene3.3以上版本 对solr1.4提供接口实现 使用IK分词器，应为该集群使用到的solr版本为4.10.3-cdh5.7.5，所以使用的 IK 包为IKAnalyzer2012FF_u1.jar，如果是3x的solr，使用IK...
IK中文分词器IKAnalyzer6.5.0
03-02
IK中文分词器IKAnalyzer6.5.0
IKAnalyzer 中文分词 完整java项目demo
01-12
IKAnalyzer非常易用的java分词工具。可以自定义扩展词汇。 这个是一个完整的java项目demo。直接可以用，不用再去google下载了。添加了几个自定义词汇，测试好用。 运行ika.java里的main方法即可
AccessControl-5.3-cp39-cp39-manylinux_2_5_i686.whl.zip
最新发布
04-15
AccessControl-5.3-cp39-cp39-manylinux_2_5_i686.whl.zip
ikanalyzer分词quety最大匹配
11-02
IKAnalyzer是一种流行的中文分词工具，它使用了最大匹配算法。 最大匹配法是一种基于词典的分词算法，它将待分析的文本从左到右进行扫描，并尽可能地匹配最长的词。 在IKAnalyzer中，待分词的文本会被按照最大匹配...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值