Elasticsearch分词机制、IK分词器、自定义分词、批量管理

分词

分词是指文本转换成一系列单词(term or token)的过程,也可以叫做文本分析,关键词为Analysis。
举例
彭于晏是最帅的明星
分词为:(彭于晏)(最帅)(明星)
Character Filter

分词机制效果
Character Filter对原始文件进行处理:例如去除html标签,特殊字符等
Tokenizer将原始文件进行分词:例:二院二部(二院、二部)
Token Filters分词后的关键字进行加工:例转小写、删除语气词、近义词、同义词等

示例:
在这里插入图片描述
注:这个_analyze中standard(默认)分词很简陋,只能靠空格,符号等进行分割,并且仅能分割英文,不支持中文。
下面继续加一个分词,将大写转换为小写
在这里插入图片描述
进行去标签化的分词
在这里插入图片描述
中文的一些分词机制
在这里插入图片描述
由于中文的博大精深,以上分词器无法满足需求,所以需要引入特殊语法的分词器
特殊语法的分词器
在这里插入图片描述

IK分词器(常用)

在这里插入图片描述
在这里插入图片描述
加载后进行实验,如下图即可发现分词规律。
在这里插入图片描述
另外一种ik分法
在这里插入图片描述
注:
这样分词,会有 “世界上”、“世界”。这样的多意的叠词出现。
优点:这样分词很是详细
缺点:分词后倒排序会很多,大大的减小了搜索效率。

自定义分词器

自定义分词器可以多去官网查看链接: 官网.
示例
下面我们创建个叫my的分词器,它里面嵌套的都是下面我们自定义的过滤器,和分词器,这样顺序为,过滤——分词——后处理。
在这里插入图片描述
查询一条文档里具体的first_name 的值。
批量插入 _bulk
示例如下
在这里插入图片描述
如果不是这个格式 是插入不了滴!
在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

闯孙闯孙

觉得有用就赞一个呗

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值