通过Analyzer进行分词

最新推荐文章于 2021-12-21 23:03:53 发布
最新推荐文章于 2021-12-21 23:03:53 发布
阅读量188 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wnn1029/article/details/100184867
版权
本文介绍了Analyzer的组成，包括character filters、tokenizer和token filter，并详细列举了elasticsearch的内置分词器，如Standard Analyzer、Simple Analyzer和Stop Analyzer等。还提到了自定义分词器和一些流行的中文分词器，如IK和THULC。
摘要由CSDN通过智能技术生成

通过Analyzer进行分词


在这里插入图片描述

Anailzer的组成

在这里插入图片描述

  • character filters : 针对原始文本处理，例如去除html
  • tokenizer ：按照规切分为单词
  • token filter 将切分的单词进行加工，小写，删除 stopwords 增加同义词
elasticsearch 的内置分词器

  • Standard Analyzer - 默认分词器，按词切分，小写处理

  • Simple Analyzer - 按照非字母切分（符号被过滤），小写处理

  • Stop Analyzer - 小写处理，停用词过滤（the， a，is）

  • Whitespace Analyzer - 按照空格切分，不转小写

  • Keyword Analyzer - 不分词，直接将输入当作输出

  • Patter Analyzer - 正则表达式，默认\W+（非自负分隔）

  • Language - 提供了30多种 常见语言的分词器

最低0.47元/天 解锁文章
啦啦啦1029
关注
4.通过Analyzer进行分词
Gedeon
07-24 1334
1. Analysis与Analyzer Analysis : 文本分析是吧全文本转换成一系列单词（term/token)的过程，也叫分词 Analysis : 是通过Analyzer来实现的 可使用Elasticsearch内置的分析器/或者按需定制化分析器 除了在数据写入时转换词条，匹配Query语句时候也需要用相同的分析器对查询语句进行分析 2. Analyzer 的组成 分词器...
Java IKAnalyzer 中文分词器
最新发布
10-12
IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包，也就是可以将一串中文字符分割成一个个的词组或者字词 文件中包含分词工具 ikanalyzer-2012_u6.jar 中文分词配置 IKAnalyzer.cfg..xml
Elasticsearch-通过Analyzer进行分词
程序猿二大爷的博客
08-11 426
es 分词器
Elasticsearch入门3 -通过Analyzer进行分词
DoloresOOO的博客
06-24 342
Analysis 与 Analyzer Analysis 文本分析就是把全文转换为一些列单词的过程，也叫分词 Analysis 是通过 Analyzer 来实现的 可使用Elasticsearch 内置的分析器 或者按需定制分析器 除了在数据写入时转换词条，匹配Query语句的时候也需要用相同的分析器对查询语句进行分析 Analyzer的组成 无论是内建的还是自定义的都是一个包，且包含了character filters、tokenizers,和token filters3个部分。 Chara
IKAnalyzer中文分词计算句子相似度
01-22
IKAnalyzer可以作为计算句子相似度的基础，通过进行分词，将句子转化为可比较的词项序列。常见的句子相似度计算方法有： 1. **余弦相似度**：通过计算两个句子的词项向量之间的余弦值来衡量它们的相似程度。首先，...
ElasticSearch系列 - analyzer分词
Aaron_涛
09-24 712
ElasticSearch系列 - analyzer分词 文章目录ElasticSearch系列 - analyzer分词什么是AnalyzerAnalyzer的组成ElasticSearch 的内置分词器ElasticSearch 使用分词器中文分词的难点中文分词的原理基于字符串匹配基于理解的分词方法基于统计的分词方法 什么是Analyzer ElasticSearch中数据的存储是要经过分词再...
IKAnalyzer分词器
07-20
ikanalyzer-2012_u6.jar IKAnalyzer2012FF_u1.jar IKAnalyzer2012FF_u2.jar
C#实现的中文分词程序
11-23
用键树实现对中文文本的分词处理，使用C#语言实现，希望能对大家有所帮助
Elasticsearch系列-Analyzer分词
Layne的博客
04-15 248
Elasticsearch系列-Analyzer分词Analysis与AnalyzerAnalyzer的组成ES的内置分词器中文分词器Analyzer API结语 Analysis与Analyzer Analysis：文本分析是把全文本转换一系列单词（term/ token）的过程，也叫分词。 Analyzer：ES的Analysis是通过Analyzer来实现的，ES有内置的分析器，也可以使用一些定制化分析器。 除了在数据写入时会做分词处理，在匹配Query语句时，也会使用到分词处理，使用到分词器去对查询
IKAnalyzer 分词的用法
12-03 637
此文件在上一篇博客中 下载IKAnalyzer2013.zip文件解压 在eclipse中新建web项目——》打开项目的路径，讲解压后的文件拷贝的项目src目录下 回到eclipse开发页面，刷新项目即可 新建测试类具体代码如下： package org.wltea.analyzer.test; import java.io.IOException; import java.
lucene--分词器的分析
nnn9223643的专栏
12-12 535
/**   * SimpleAnalyzer  这个分词是一段一段话进行分   * StandardAnalyzer 标准分词拿来分中文和ChineseAnalyzer一样的效果   ☆PerFieldAnalyzerWrapper  这个很有意思，可以封装很多分词方式，还可以于先设置field用那个分词分！牛   * CJKAnalyzer  这个分词方式是正向退一分词(二分法分词)，同
ElasticSearch7学习笔记之用Analyzer分词
四国棋客
12-13 1495
定义 Analyzer是es中专门用来处理分词的组件，由三部分组成： Character Filters：针对原始文本的处理，例如去除html等 Tokenizer：按照规则进行分词 Token Filter：将切分的单词进行加工，例如去除修饰性单词等 分词器种类 StandardAnalyzer 这是默认分词器，按词切分，将字母转换为小写，默认关闭终止词。 使用方法如下： GET /_analyze { "analyzer": "standard", "text": "It`s a good
八、ElasticSearch——Analyzer（分词器）
m0_38143867的博客
07-25 936
Analyzer 认识分词器 Analyzer 分析器 在ES中一个Analyzer 由下面三种组件组合而成： character filter ：字符过滤器，对文本进行字符过滤处理，如处理文本中的html标签字符。处理完后再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器，多个按配置顺序依次进行处理。 tokenizer：分词器，对文本进行分词。一个anal...
中文分词之Java实现使用IK Analyzer实现
Mydwr的专栏
01-11 1391
IK Analyzer是基于lucene实现的分词开源框架，下载路径:http://code.google.com/p/ik-analyzer/downloads/list 需要在项目中引入： IKAnalyzer.cfg.xml IKAnalyzer2012.jar lucene-core-3.6.0.jar stopword.dic 什么都不用改 示例代码如下(使用IK Anal
Elasticsearch之Analyzer分词器介绍
weixin_44692700的博客
12-21 2666
Analysis Analysis文本分析，也叫分词，是把全文本转换为一系列单词的过程。 Analyzer叫做分词器。Analysis是通过Analyzer来实现的，ES当中内置了很多分词器，同时我们也可以按需定制化分词器。 分词器的作用，除了在数据写入时对需要分词的字段进行词条切分转换，同时匹配Query语句的时候也需要使用相同的分词器对查询语句进行分析。 例如： Elasticsearch is fun这个文本就会被分词器切分成，elasticsaerch、is、fun三个单词。 Analyzer的组成
IKAnalyzer3.2.0中文分词器使用手册
IKAnalyzer是一个专为中文分词设计的开源工具包，它基于Java开发，适用于各种需要进行中文文本处理的场景。自2006年12月首次发布1.0版本以来，IKAnalyzer已经经历了多次迭代，发展成为独立于Lucene的通用Java分词...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值