ElasticSearch+IK分词器的安装以及使用介绍

于 2024-06-02 14:31:57 发布
阅读量963 收藏 22
点赞数 22
文章标签： elasticsearch 大数据 中文分词 搜索引擎 全文检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmyxmm123/article/details/139333311
版权

文章目录

一、安装elasticsearch+kibana

首先确保docker运行正常

  1. 创建挂在目录
    mkdir -p docker-data/elasticsearch/config
mkdir -p docker-data/elasticsearch/data
mkdir -p docker-data/elasticsearch/logs
mkdir -p docker-data/elasticsearch/plugins
mkdir -p docker-data/kibana/config

chmod 777 docker-data/elasticsearch/data
chmod 777 docker-data/elasticsearch/logs
chmod 777 docker-data/elasticsearch/plugins
  2. 创建配置文件
    vi /docker-data/elasticsearch/config/elasticsearch.yml
vi /docker-data/kibana/config/kibana.yml
    elasticsearch.yml
    cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.cors.allow-origin: "*"
http.cors.enabled: true
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
xpack.security.enabled: true
    kibana.yml
    server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
# 设置ip地址
elasticsearch.hosts: [ "http://ip:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"
elasticsearch.username: "kibana"
#设置密码
elasticsearch.password: "123456"
  3. 创建docker-compose.yml 目录随便都可以
    docker-compose.yml
    version: '3.8'
services:
  # 定义 Elasticsearch 和 Kibana 服务
  elasticsearch:
    container_name: elasticsearch
    image: elasticsearch:8.7.1
    ports:
      - 9200:9200
      # 将宿主机的 9200 端口映射到容器的 9200 端口，用于访问 Elasticsearch HTTP API
      - 9300:9300
      # 将宿主机的 9300 端口映射到容器的 9300 端口，用于 Elasticsearch 节点之间的通信
    restart: 'no'
    environment:
      - discovery.type=single-node
      # 设置 Elasticsearch 的发现类型为单节点
      - ES_JAVA_OPTS=-Xms1024m -Xmx1024m
      # 设置 Elasticsearch 的 Java 虚拟机选项，分配 256MB 堆内存
    volumes:
      - /docker-data/elasticsearch/logs:/usr/share/elasticsearch/logs
      # 挂载日志目录
      - /docker-data/elasticsearch/data:/usr/share/elasticsearch/data
      # 挂载数据目录
      - /docker-data/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      # 挂载插件目录
      - /docker-data/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      # 挂载配置文件
  #Kibana服务    
  kibana:
    container_name: kibana
    restart: 'no'
    image: kibana:8.7.1
    ports:
      - 5601:5601
      # 将宿主机的 5601 端口映射到容器的 5601 端口，用于访问 Kibana Web 界面
    depends_on:
      - elasticsearch
      # 定义依赖关系，表示 Kibana 服务依赖于 Elasticsearch 服务
    volumes:
      - /docker-data/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
      # 挂载配置
  4. 进入docker-compose.yml 目录中 执行docker-compose up -d
    cd /docker-data/elasticsearch_kibana
docker-compose up -d
  5. 运行完成 查看容器是否正常运行
    docker ps

二、操作语句

1. 插入语句

# 插入数据到user表中，name = "张三" company="lingli" id=3
# post可以重复写入，如果id存在就更新
POST user/_doc/3
{
  "name":"张三",
  "company":"lingli",
  "age":18
}
#只能插入一次 如果id存在报错
POST user/_create/3
{
  "name":"张三",
  "company":"lingli",
  "age":18
}
# PUT 和 POST 类似，不存在就插入，存在就更新
PUT user/_doc/3
{
  "name":"张三",
  "company":"lingli",
  "age":18
}

2. 更新语句

# 单独更新，更新操作如果值没有改变的话不会修改version 和 seq_no 
# 这条操作并不会对数据进行修改
POST user/_update/3
{
  "doc": {
    "name":"张三",
  	"company":"lingli",
  	"age":18
  }
}

3. 删除语句

# 删除语句可以删除单条数据 也可以删除整个表
# 删除id = 3  的数据
DELETE user/3
# 删除整个user表
DELETE user

4. 批量操作 添加，更新，删除

# 批量操作 
# 这里的user表明可以在url中指明，也可以在语句中指明
POST user/_bulk
# 新增
{"create": {"_index": "user", "_type": "docs", "_id": 1}}
{"name": "lin", "company":"jd"}
{"create": {"_index": "user", "_type": "docs", "_id": 2}}
{"name": "dearlin", "company":"ali"}
# 存在更新 不存在 新增
{"index":{ "_index": "user", "_id": "1" }}
{"name": "test", "company":"ali"}
# 更新
{"update":{ "_index": "user", "_id": "1" }}
{"name": "test", "company":"ali"}
# 删除
{"delete": {"_index": "user", "_type": "docs", "_id": "1" }}

5. 查询语句

5.1 Match Query(匹配查询)

#Match Query（匹配查询）
GET user/_search
{
  "query": {
    "match": {
      "name": "张三"
    }
  }
}

5.2 Term Query（精确查询）

精确查询比较坑，这里你查询张三是查询不到的，因为做了分词处理 只能查询张 or 三

GET /user/_search
{
  "query": {
    "term": {
      "name": "三"
    }
  }
}

5.3 Range 范围查询

年龄区间为 10- 20

GET user/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 10,
        "lte": 20
      }
    }
  }
}

5.4 Bool Query(布尔查询)

布尔查询相当于mysql的and 如 name = ‘张三’ and age = 18 and company = ‘jd’ 查询较为复杂的内容时可以用到
must 类似于 name = ‘张三’ and age = 18 and company = ‘jd’
not must 类似于 name != ‘张三’ and age != 18 and company != ‘jd’
should 类似于 name = ‘张三’ or age = 18 or company = ‘jd’

GET user/_search
{
  "query": {
    "bool": {
      "must": [
        {"match": {"name": "张三"}},
        {"match": {"age": 18}},
        {"match": {"company": "jd"}}
      ],
      "must_not": [{}],
      "should": [{}]
    }
  }
}

5.5 Fuzzy Query（模糊查询）

GET user/_search
{
  "query": {
    "fuzzy": {
      "name": {
        "value": "张四",
        "fuzziness": 2  #编辑距离，通过算法计算 编辑距离也就是通过几次编辑可以到正确的词
      }
    }
  }
}

6. 查询分页

查询分页是通过 from size 字段控制

GET user/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0, #对应mysql offset
  "size": 20 # 对应mysql  limit
}

三、IK 分词器

下载安装ik分词器

  1. 下载地址
  2. 下载好后解压到 docker-data/elasticsearch/plugins 修改文件夹名称为ik
    在这里插入图片描述
  3. 重启es
docker restart elasticsearch
  1. 进入docker容器，查看是否安装成功
docker exec -it elasticsearch /bin/bash
cd bin 
elasticsearch-plugin list

在这里插入图片描述
ik分词器安装成功

修改ik分词器的自定义词库

  1. 进入config目录 创建自定义词库文件 写入自定义词语 写入停用词库
cd /docker-data/elasticsearch/plugins/ik/config/
mkdir customer
cd customer
vi mydic.dic # 写入自定义词语并保存
vi my_stopword.dic # 写入停用词库
  1. 更新配置到配置文件
cd /docker-data/elasticsearch/plugins/ik
vi IKAnalyzer.cfg.xml # 修改配置文件地址

在这里插入图片描述

使用ik分词器

  1. 演示
# ik_smart 细粒度分词模式
GET _analyze
{
  "analyzer": "ik_smart",
  "text":"北京大学是中国最好的高等学府之一"
}
# kibana 演示结果
{
  "tokens": [
    {
      "token": "北京大学",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "中国",
      "start_offset": 5,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "最好",
      "start_offset": 7,
      "end_offset": 9,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "高等学府",
      "start_offset": 10,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "之一",
      "start_offset": 14,
      "end_offset": 16,
      "type": "CN_WORD",
      "position": 4
    }
  ]
}

# ik_max_word 智能分词模式
GET _analyze
{
  "analyzer": "ik_max_word",
  "text":"北京大学是中国最好的高等学府之一"
}
# kibana 演示结果
{
  "tokens": [
    {
      "token": "北京大学",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "北京大",
      "start_offset": 0,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "北京",
      "start_offset": 0,
      "end_offset": 2,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "大学",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "中国",
      "start_offset": 5,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "最好",
      "start_offset": 7,
      "end_offset": 9,
      "type": "CN_WORD",
      "position": 5
    },
    {
      "token": "高等学府",
      "start_offset": 10,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 6
    },
    {
      "token": "高等",
      "start_offset": 10,
      "end_offset": 12,
      "type": "CN_WORD",
      "position": 7
    },
    {
      "token": "学府",
      "start_offset": 12,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 8
    },
    {
      "token": "之一",
      "start_offset": 14,
      "end_offset": 16,
      "type": "CN_WORD",
      "position": 9
    },
    {
      "token": "一",
      "start_offset": 15,
      "end_offset": 16,
      "type": "TYPE_CNUM",
      "position": 10
    }
  ]
}

可以看出两种分词分词的效果不同

  1. 创建索引 指定分词器
# user 索引已经占用 这里我们使用user_test
PUT user_test
{
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "ik_max_word", #设置字段保存分词
        "search_analyzer": "ik_max_word" #设置自断搜索分词
      }
    }
  }
}

总结

以上为elasticsearch+ik分词器的使用，感谢观看，加油

dearlin2024
关注
  • 22
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
elasticsearch-6.2.4-ik分词器
10-11
Linux-CentOS环境下：分布式索引服务-elasticsearch-6.2.4版本及ik分词器整包，包括（elasticsearch-6.2.4.tar.gz，ik-analyzer.zip）
Elasticsearch 7.0 7.x版本安装（head+ik+配置）.zip
05-28
该文档主要是elasticsearch7.x版本的安装及集群配置，配合head，ik插件的安装。【备注，配置参数更新如下： cluster.name: es-7 node.name: t-1 network.host: 10.96.141.45 http.port: 9200 transport.tcp.port: 9301 node.master: true node.data: true bootstrap.memory_lock: true discovery.seed_hosts: ["10.xx.xx.104:9300","10.xx.xx.45:9300","10.xx.xx.45:9301"] discovery.zen.minimum_master_nodes: 2 bootstrap.system_call_filter: false cluster.initial_master_nodes: ["10.xx.xx104","10.xx.xx.45"] #外网访问 http.cors.enabled: true http.cors.allow-origin: "*" 】
elasticsearch安装ik分词器（多种安装方式）
我还可以
07-10 3004
elasticsearch安装ik分词器 es版本7.8.1，ik分词器最好与es版本对应，所以这里ik分词器的版本也是7.8.1； 7.8.1版本下载地址[点我](https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.8.1/elasticsearch-analysis-ik-7.8.1.zip)（防止出错，版本一定要和es版本一致）； - 本文分为Docker安装以及普通安装两种安装方式；...
【Elasticsearch】elasticsearch–ik安装
lushixuan12345的博客
08-13 724
【Elasticsearch】elasticsearch–ik安装
elasticsearch安装ik
weixin_30388677的博客
07-06 400
https://github.com/medcl/elasticsearch-analysis-ik/releases下载对应的ik plugins/目录下创建analysis-ik，再将上述中的zip包解压至该目录 转载于:https://www.cnblogs.com/agang-php/p/11143767.html...
ElasticSearch IK 安装&使用
Leon_Jinhai_Sun的博客
09-10 679
ElasticSearch IK 安装&使用
elasticsearch IK分词器的安装
学亮编程手记
08-24 299
2）解压，将解压后的elasticsearch文件夹拷贝到elasticsearch-5.6.8\plugins下，并重命名文件夹为analysis-ik （其他名字也可以，目的是不要重名）3）重新启动ElasticSearch，即可加载IK分词器。
elasticsearch2.3.5+ik分词器整合.zip
05-21
elasticsearch2.3.5+ik分词器已经整合好了,在linux系统中解压就看可以使用,使用请时根据自己需求修改yml配置文件 network.host,本人测试整合到springboot1.5版本中没有问题
ES+IK分词器+kibana 7.6.2.txt
04-23
2020年4月最新ES压缩包： 包含： elasticsearch-7.6.2-linux-x86_64.tar elasticsearch-analysis-ik-7.6.2 kibana-7.6.2-linux-x86_64.tar 链接：https://pan.baidu.com/s/1c4dnND9KLA2thrI7l47-_Q
elasticsearch+kibana+ik分词器
05-09
elasticsearch的7.12.1版本的镜像，使用docker load -i elasticsearch.tar 加载镜像 kibana的7.12.1版本的镜像，使用docker load -i kibana.tar 加载kibana...使用docker安装elasticsearch、数据可视化kibana和IK分词器
ik分词器tar包 7.10.2
03-03
6. **与Elasticsearch集成**：IK分词器与Elasticsearch有良好的集成，安装简单，只需将解压后的`elasticsearch-analysis-ik-7.10.2`目录复制到Elasticsearch的`plugins`目录下即可。 **安装与使用** 1. **下载与...
IK分词器elasticsearch-analysis-ik-7.17.16
最新发布
12-24
在Elasticsearch中安装IK分词器通常包括以下步骤： 1. 将`elasticsearch-analysis-ik-7.17.16.jar`复制到Elasticsearch的`plugins`目录下。 2. 如果需要自定义配置，编辑`config/IKAnalyzer.cfg.xml`。 3. 重启...
Elasticsearch安装IK分词器
hq.zheng的博客
04-18 1332
解压命名改为ik，插件上传到/usr/local/elasticsearch-6.4.3/plugins，重启elasticsearch即可。1）、在/usr/local/elasticsearch-6.4.3/plugins/ik/config目录下。一、安装Elasticsearch。2）、修改配置文件新增自定义分词。二、下载对应版本ik分词器。三、测试分词器是否安装成功。四、自定义扩展分词器文件。
Docker 下 Elasticsearch 安装中文分词插件ik
MR.骑士道
07-05 1287
Docker 下 Elasticsearch 安装中文分词插件ik
ElasticSearch分词器IK安装教程
qq_43783527的博客
04-05 5446
目录标题前言1、安装IK分词器下载Elasticsearch IK分词器切换到shcms用户，并在es的安装目录下/plugins创建ik将下载的ik分词器上传并解压到该目录重启Elasticsearch测试分词效果2、指定IK分词器作为默认分词器 前言 使用IK分词器对查询内容进行划分。 1、安装IK分词器 我们后续也需要使用Elasticsearch来进行中文分词，所以需要单独给Elasticsearch安装IK分词器插件。以下为具体安装步骤： 下载Elasticsearch IK分词器 https:/
Elasticsearch-5.4.0安装ik分词器
m0_37895851的博客
07-25 237
下载环境包 wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.4.0/elasticsearch-analysis-ik-5.4.0.zip 解压后得到elasticsearch文件夹,将该文件夹移动到es安装目录下plugins文件夹下并改名为ik 每个节点都进行上述操作 重启...
ElasticSearch 安装和使用IK分词器
江湖戏子的专栏
11-23 5385
1、到官网下载IK分词器并且编译成jar包。 2、把IK目录下的config\ik 的所有文件都复制到elasticsearch 的config\ik 的目录下面 3、在elasticsearch的 elasticsearch.yml中添加 ik: alias: [news_analyzer_ik,ik_analyzer] type: org.el
安装ElasticSearch和插件IK、安装kibana
热门推荐
mimanghen的博客
11-09 1万+
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤，首先用户将数据提交到Elasticsearch 数据库中，再通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据，当用户搜索数据时候，再根据权重将结果排名，打分，再将返回结果呈现给用户
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值