在 Linux 上使用 Docker 安装 Elasticsearch 和 Kibana 并配置 IK 分词器和停用词典

已于 2023-07-23 18:00:27 修改
阅读量978 收藏 6
点赞数 3
分类专栏： 常用软件的安装和配置 文章标签： linux docker elasticsearch 中文分词
于 2023-07-23 13:58:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cn_ljr/article/details/131873443
版权

文章目录

1 前置准备

首先要创建一个网络，以便让 ES 和 Kibana 容器互联。

docker network create es-net

2 安装 Elasticsearch

2.1 拉取 ES 的 Docker 镜像

使用 Docker 拉取 Elasticsearch7.17.11 版本的镜像：

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.11

2.2 通过 Docker 运行 ES

拉取完镜像后使用 Docker 运行 ES 容器：

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
    docker.elastic.co/elasticsearch/elasticsearch:7.17.11

注：

  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：设置堆大小（默认堆大小为 1GB1）
  • -e "discovery.type=single-node"：单节点模式
  • -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定 ES 的数据目录
  • -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定 ES 的插件目录
  • --privileged：授予逻辑卷访问权
  • --network es-net ：加入一个名为 es-net 的网络中

运行成功后，在浏览器中访问对应 ip 的 9200 端口可看到 ES 的响应结果：
在这里插入图片描述

3 安装 Kibana

3.1 拉取 Kibana 的 Docker 镜像

使用 Docker 拉取 Kibana7.17.11 版本的镜像：

docker pull docker.elastic.co/kibana/kibana:7.17.11

注：Kibana 版本应跟 Elasticsearch 版本保持一致。

3.2 通过 Docker 运行 Kibana

拉取完镜像后使用 Docker 运行 Kibana 容器：

docker run -d \
    --name kibana \
    -e ELASTICSEARCH_HOSTS=http://es:9200 \
    --network=es-net \
    -p 5601:5601  \
    docker.elastic.co/kibana/kibana:7.17.11

注：

  • --network es-net ：加入一个名为 es-net 的网络中，与 Elasticsearch 在同一个网络中
  • -e ELASTICSEARCH_HOSTS=http://es:9200"：设置 Elasticsearch 的地址，因为 Kibana 已经与 Elasticsearch 在同一个网络，因此可以用容器名直接访问 Elasticsearch

运行成功后，在浏览器中访问对应 ip 的 5601 端口可看到：
在这里插入图片描述
可通过 Kibana 提供的 Dev Tools 来编写 DSL 语句操作 Elasticsearch ：
在这里插入图片描述
在 Dev Tools 界面中，在左边编写 DSL 语句，在右边查看响应结果。
使用以下 DSL 语句进行测试：

GET /

可在右边查看响应结果：
在这里插入图片描述

在这个界面编写 DSL 语句具有自动补全功能。

4 配置 IK 分词器

4.1 ES 的 standard 分词器测试

在 Kibana 的 Dev Tools 里通过以下 DSL 语句来测试 ES 默认的 standard 分词器2：

GET /_analyze
{
  "analyzer" : "standard",
  "text" : "分词器分词效果测试"
}

测试结果：

{
  "tokens" : [
    {
      "token" : "分",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "词",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "器",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "分",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "词",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "效",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "果",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    },
    {
      "token" : "测",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "<IDEOGRAPHIC>",
      "position" : 7
    },
    {
      "token" : "试",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 8
    }
  ]
}

可以看到 ES 默认的 standard 分词器对中文分词不友好，所以需要配置对中文分词较友好的 IK 分词器3。

分词器的作用：
创建倒排索引时对文档分词
用户搜索时，对输入的内容分词

4.2 下载 IK 分词器

现在安装的 Elasticsearch 版本为 7.17.11，所以我们应该从 IK 分词器的 GitHub 仓库中找到对应的版本来进行下载，但目前 IK 分词器没有给出 7.17.11 的版本，因此我们只能先下载相近的版本，这里选择下载 IK 分词器的 7.17.7 版本，下载地址如下：
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.7/elasticsearch-analysis-ik-7.17.7.zip

4.3 在 ES 中配置 IK 分词器

IK 分词器是通过插件的形式来安装到 Elasticsearch 中的，所以需要知道 Elasticsearch 的 plugins 目录位置，而我们运行 Elasticsearch 容器时使用了数据卷挂载，因此需要查看 Elasticsearch 的数据卷目录，通过以下命令查看:

docker volume inspect es-plugins

在这里插入图片描述
可以看到 plugins 目录被挂载到了 /var/lib/docker/volumes/es-plugins/_data 目录中。
我们需要将下载好的 IK 分词器压缩包里面的文件解压到一个名为 ik 的文件夹中，并上传 ik 文件夹到 plugins 挂载的目录下。

需要注意 的是：因为 Elasticsearch 版本和 IK 分词器版本不一致，所以加载 IK 分词器前需要修改 ik 文件夹中的 plugin-descriptor.properties 文件里面的 elasticsearch.version 为 7.17.11，不然 Elasticsearch 启动时加载 IK 分词器会报错4。
在这里插入图片描述

保存修改后重启 ES：

docker restart es

查看日志

docker logs -f es

在这里插入图片描述
可以看到 IK 分词器已经被加载。

4.4 测试 IK 分词器

4.4.1 ik_smart 测试

在 Kibana 的 Dev Tools 里通过以下 DSL 语句进行测试：

GET /_analyze
{
  "analyzer" : "ik_smart",
  "text" : "分词器分词效果测试"
}

测试结果如下：

{
  "tokens" : [
    {
      "token" : "分词器",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "分词",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "效果",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "测试",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

4.4.2 ik_max_word 测试

在 Kibana 的 Dev Tools 里通过以下 DSL 语句进行测试：

GET /_analyze
{
  "analyzer" : "ik_max_word",
  "text" : "分词器分词效果测试"
}

测试结果如下：

{
  "tokens" : [
    {
      "token" : "分词器",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "分词",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "器",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "分词",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "效果",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "测试",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

4.4.3 ik_max_word 和 ik_smart 的区别

ik_max_word: 会将文本做最细粒度的拆分，会穷尽各种可能的组合，适合 Term Query。好处是搜索到的概率可能较高，缺点是分的词多了，占用内存空间会更多；
ik_smart: 会做最粗粒度的拆分，适合 Phrase 查询。好处是分的词少了，将来查询更多的数据效率会更高一点，缺点是搜索到的概率可能较低。
所以，在这两种方式的选择上，需要在内存占用、查询效率、搜索到的概率等方面进行考虑。

4.5 配置停用词典

这里选择使用 百度停用词表 来作为停用词典，按照自己的需求也可以选择哈工大停用词表等5。

4.5.1 获取百度停用词表作为停用词典

可访问下面的链接来下载百度停用词表（baidu_stopwords.txt）：
https://github.com/goto456/stopwords/blob/master/baidu_stopwords.txt
下载好 baidu_stopwords.txt 文件后，需要将文件另存为 baidu_stopwords.dic ，要 注意文件编码得是 UTF-8 。
在这里插入图片描述

4.5.2 配置停用词典前测试

在 Kibana 的 Dev Tools 里通过以下 DSL 语句进行测试：

GET /_analyze
{
  "analyzer" : "ik_smart",
  "text" : "停用词测试，的，地，得"
}

测试结果如下：

{
  "tokens" : [
    {
      "token" : "停",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "用词",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "测试",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "的",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "地",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "得",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 5
    }
  ]
}

可以看到如果没有去停用词，那么“的、地、得”这些词也会被输出出来。

4.5.3 修改配置文件加载停用词典

在 plugins 挂载的目录下，进入之前上传的 ik 文件夹中，再进入 config 文件夹下修改 IKAnalyzer.cfg.xml 文件，将停用词典的文件名填入到指定位置：
在这里插入图片描述
修改配置文件并保存后重启 ES：

docker restart es

查看日志

docker logs -f es

在这里插入图片描述
从日志中可以看到已加载配置文件和停用词典。

在 Kibana 的 Dev Tools 里通过以下 DSL 语句进行测试：

GET /_analyze
{
  "analyzer" : "ik_smart",
  "text" : "停用词测试，的，地，得"
}

测试结果如下：

{
  "tokens" : [
    {
      "token" : "停",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "用词",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "测试",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

可以看到，“的、地、得”这三个字已经不输出了，说明停用词典已经配置好了。

5 参考

官方文档：

  1. https://www.elastic.co/guide/en/elasticsearch/reference/7.5/heap-size.html ↩︎

  2. https://www.elastic.co/guide/en/elasticsearch/reference/7.17/analysis-standard-tokenizer.html ↩︎

  3. https://github.com/medcl/elasticsearch-analysis-ik#readme ↩︎

  4. https://github.com/medcl/elasticsearch-analysis-ik/issues/996 ↩︎

  5. https://github.com/goto456/stopwords ↩︎

cn_ljr
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
centos7使用docker-compose安装es(包括IK分词器扩展)+kibana
04-13
3、docker和docker-compose安装要提前安装完成 4、将下载内容解压一个目录 5、运行 docker-compose up # 此命令环境会在终端前台运行 docker-compose up -d # 加上-d会放入后台进行环境的启动 如有问题，欢迎进行...
docker安装es7.13和kibana7.13
06-29
docker安装es7.13和kibana7.13详细笔记文档总结和相关包
【笔记】Docker入门笔记
Nonoas的博客
12-16 4350
Docker在windows下的安装，以及常用命令
Docker基本概念
qq_40988607的博客
08-12 3362
Docker概述 预计阅读时间： 10分钟 Docker是一个用于开发，发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付，测试和部署代码，您可以大大减少编写代码和在生产环境中运行代码之间的延迟。 Docker平台 Docker提供了在松散隔离的环境（称为容器）中打包和运行应用程序的功能。隔离和安全性使您可以在给定主机上同时运行多个容器。容器是轻量级的，因为它
Linux用docker安装Elasticsearch&&SpringBoot整合ES
最新发布
withme977的博客
05-27 540
Linux服务器部署ES搜索引擎并集成于SpringBoot项目中
windows11上安装docker并处理相关问题
m0_37570494的博客
01-04 4119
正在安装: 适用于 Linux 的 Windows 子系统 错误: 0x80240438 0.0% 如何处理windows11的上述错误。最新版本我安装的是docker官方的最新版4.26.1.0，结果出现如下。
解决Windows11安装Docker 一直starting 的办法
qq_52898168的博客
12-30 4814
另外，docker desktop-unexpected wsl error问题跟标题问题好像是同一个问题，我的是一直让其starting到最后出现docker desktop-unexpected wsl error的弹窗提示。关闭docker 管理员身份执行wsl --update后在启动。
【docker】入门
20岁爱吃必胜客
02-28 825
本指南包含有关如何开始使用 Docker 的分步说明。您将在本指南中学习和执行的一些操作包括：将映像作为容器生成和运行使用 Docker Hub 共享映像使用具有数据库的多个容器部署 Docker 应用程序使用 Docker Compose 运行应用程序在掌握本指南的部分内容之前，您应该了解容器和图像。简而言之，容器是计算机上的沙盒进程，与主机上的所有其他进程隔离。这种隔离利用内核命名空间和 cgroups， 在 Linux 中已经存在很长时间的功能。
elasticsearch+kibana+ik分词器
05-09
elasticsearch的7.12.1版本的镜像，使用docker load -i elasticsearch.tar 加载镜像 kibana的7.12.1版本的镜像，使用docker load -i kibana.tar 加载kibana...使用docker安装elasticsearch、数据可视化kibana和IK分词器
如何在docker容器内部安装kibana分词器
01-08
步骤： 1.在虚拟机目录下新建docker-compose.yml文件,然后进入yml文件编辑 vi docker-compose.yml 2.在yml文件中添加如下代码： version: 3.1 ... #将分词器映射到容器内部 volumes: - ./ik:/usr/shar
基于Docker安装Elasticsearch
11-11
基于Docker安装Elasticsearch详细教程 Elasticsearch是分布式、高扩展、高实时的搜索与数据分析引擎，它能够很...本文详细介绍了基于Docker安装Elasticsearch的过程，并且提供了详细的安装步骤和配置文件的示例代码。
毕业设计，Docker基于ElasticSearch全文搜索引擎开发的旅游景点搜索网，包括前台用户端和后台管理端，完整源码
01-24
还有就是试下用户输入查询拼音关键字也可以下拉自动补全功能，这就需要引入拼音分词器以及它和ik分词器的各种组合形成自定义的复合分词器。 项目实现的功能页面不多，主要包括前台用户查询酒店结果和后台管理员对...
ES\kibana安装docker.zip
11-05
ES安装
Elasticsearch6.7.0 3nodes 集群+Kibana docker环境
04-11
用docker-compose.yml 的Elasticsearch6.7.0 3节点的集群环境，包括analysis-ik。 使用方法： 启动： cd Elasticsearch/compose docker-compose up -d 停止： docker-compose down
Docker基于ElasticSearch全文搜索引擎的旅游景点搜索网设计
11-01
开发环境： Idea + Mysql + ubuntu + Docker + RabbitMQ + ElasticSearch + kibana 本项目主要是学习利用全文检索引擎框架ElasticSearch实现一个中文旅游网站搜索设计，通过建立一个hotel的索引库关联对应的mysql...
Docker基于ElasticSearch实现的全文搜索引擎的旅游景点搜索网源码+源代码+文档说明+sql文件
11-13
还有就是试下用户输入查询拼音关键字也可以下拉自动补全功能，这就需要引入拼音分词器以及它和ik分词器的各种组合形成自定义的复合分词器。 项目实现的功能页面不多，主要包括前台用户查询酒店结果和后台管理员对...
Docker学习总结之docker入门（转自：Vikings翻译）
heart18335101121的博客
05-02 830
转自：http://www.cnblogs.com/qiuzhenyao/p/docker.htmlUnderstanding Docker以下均翻译自Docker官方文档What is Docker?　　Docker 是一个开源的平台，设计目标是可以方便开发，方便部署和方便执行应用。使用docker可以快速分发开发好的应用。借助于Docker，你可以将开发平台和应用分离开，并且像管理应用一样管理...
linux安装搭建配置docker,mysql,nacos,redis哨兵集群,kafka,elasticsearch,kibana,IK分词器,安装Rabbitmq,安装并配置maven
Littlemonster4的博客
07-28 1007
docker-ce。
Docker Engine
qq_39306047的博客
05-23 171
Docker Engine { “experimental”: false, “debug”: true, “registry-mirrors”: [ “https://xxxxxx.mirror.aliyuncs.com”, “http://hub-mirror.c.163.com” ] }
docker 安装elasticsearch和kibana安装
05-10
Docker是一种容器化技术，可以轻松地在不同的操作系统上部署应用程序。Elasticsearch和Kibana都是常用于日志和数据分析的工具，它们可以轻松地通过Docker容器来安装和部署。 安装Elasticsearch和Kibana的步骤如下： 1. 首先安装Docker和Docker Compose，具体方法可以参考官方文档。 2. 在命令行中创建一个新目录，并在其中创建一个docker-compose.yml文件。 3. 在docker-compose.yml文件中添加以下内容： version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2 container_name: elasticsearch environment: - discovery.type=single-node ports: - 9200:9200 - 9300:9300 volumes: - esdata:/usr/share/elasticsearch/data kibana: image: docker.elastic.co/kibana/kibana:7.9.2 container_name: kibana ports: - 5601:5601 environment: ELASTICSEARCH_URL: http://elasticsearch:9200 volumes: esdata: 4. 在命令行中进入该目录并运行以下命令： docker-compose up 这将下载和启动Elasticsearch和Kibana的Docker容器。当启动完成后，您可以使用以下URL访问Kibana： http://localhost:5601 相关问题： 1. Docker是什么？它有哪些优点？ 2. Elasticsearch是什么？它主要用于什么场景？ 3. Kibana是什么？它主要用于什么场景？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值