ElasticSearch - 基于 docker 部署 es、kibana，配置中文分词器、扩展词词典、停用词词典

最新推荐文章于 2024-05-05 09:41:45 发布
最新推荐文章于 2024-05-05 09:41:45 发布
阅读量1.4k 收藏 8
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch docker 中文分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CYK_byte/article/details/133219266
版权

目录

一、ElasticSearch 部署

1.1、创建网络

1.2、加载镜像

1.3、运行

1.4、检查是否部署成功

二、部署 Kibana

2.1、加载镜像

2.2、运行

三、部署 IK 分词器

3.1、查看数据卷目录

3.2、上传分词器

3.3、重启容器

3.4、测试

3.4、扩展词词典

3.5、停用词词典

一、ElasticSearch 部署

1.1、创建网络

这里为了 es 和 将来要下载的 kibana 进行互联，因此需要我们去创建一个网络.

Ps：这里也可以使用 docker-compose 一键互联，但是考虑到未来可能不会使用 kibana（可替代组件，前面的章节讲过），只需要 es，所以这里我们还是单独部署.

docker network create es-net

1.2、加载镜像

这里我们使用 es 的 7.12.1 版本的镜像，体积比较大，接近 1G，大家可以自己去 pull 下来，也可以去找一些现有的资源（因为太大了，我上传不了，bibana 也是如此）.

上传完成以后，去加载镜像即可.

docker load -i es.tar

 

1.3、运行

部署单点 es 命令如下.

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1
  • -e 表示配置环境变量，这里环境变量有两个.
  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"`：内存大小（es 底层是 Java 实现的，所以这里是配置 jvm 的堆内存大小），值得注意的是，这里 512 已经是能配置的最小内存了，不能更小，否则回出现内存不足的情况.
  • -e "discovery.type=single-node"`：非集群模式（single node 就是单个节点的意思）
  • -v es-data:/usr/share/elasticsearch/data`：挂载数据卷，绑定es的数据目录
  • -v es-plugins:/usr/share/elasticsearch/plugins`：挂载数据卷，绑定es的插件目录（将来作拓展，就要在这里存东西）
  • --privileged`：授予数据卷访问权
  • --network es-net` ：加入一个名为es-net的网络中
  • -p 9200:9200： 这里是 http 协议端口，供我们访问.
  • -p 9300:9300：这里是 es 容器各个节点之间的互联端口.（这个端口现在用不到，不暴露也没关系，只是后面部署集群的时候，还得打开）.

如果要设置集群，可以如下配置：

  • -e "cluster.name=es-docker-cluster"`：设置集群名称

运行镜像

1.4、检查是否部署成功

可以先通过 docker ps 命令，看一下是不是启动成功了.

接下来，打开浏览器，输入 http://你的云服务ip:9200 即可（这里我就不暴露 ip了，孩子吃了不少教训，害怕黑客攻击了...）

Ps：这里别忘了开 9200 端口的防火墙.

如果看到如下界面，就说明 ElasticSearch 部署完成~

二、部署 Kibana

这里为什么还要安装 kibana 呢？因为 kibana 中提供了一个 dev tools 工具，可以让我们非常方便的编写 es  中 DSL 语句.

2.1、加载镜像

这里的镜像同样不建议大家去 pull，可以去网上找找其他的资源，但是值得注意的是，kibana 的版本要和 es 匹配才行.

docker load -i kibana.tar

2.2、运行

运行以下命令，运行镜像

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1
  • --network es-net` ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中.
  • -e ELASTICSEARCH_HOSTS=http://es:9200"`：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch.
  • -p 5601:5601`：端口映射配置.

Kibana 启动一般比较慢，需要多等待一会，可以通过 docker logs -f kibana 命令来查看他的运行日志信息.

最后，在浏览器中输入地址：http://你的云服务器 ip:5601 既可看到结果.

这里专门提供了一个工具，用来编写 DSL 代码，来操作 es，并且还有 DSl 语句自动补全功能.

三、部署 IK 分词器

前面章节我们讲到，建立倒排索引需要对用户输入的内容进行分词处理（比如用户输入“华为手机”，会分成 “华为”和“手机”），但是由于 es 默认的分词器是不支持中文分词的，因此这里需要我们去安装 IK 分词器.

3.1、查看数据卷目录

安装插件需要知道 es 的 plugins 的目录位置，而我们使用了数据卷挂载，因此只需要查看 es 的数据卷目录，通过以下命令即可查看 :

docker volume inspect es-plugins

3.2、上传分词器

这里我们可以在网上找 ik 分词器的压缩包，下载下来解压，命名为 ik.

然后上传到 es 容器的插件数据卷中.

如果直接上传文件夹失败，那么还是压缩成 zip 文件，上传，然后通过 unzip 进行解压.

3.3、重启容器

使用以下命令重启容器

docker restart es

3.4、测试

IK 分词器，包含两种模式：

  • ik_smart：最少切分，例如 “世界上” 这个内容，首先就是看这个整体是否是一个词，如果是就将他作为一个词条，然后这个词就拆分完成了；如果不是一个词，才继续拆分.
  • ik_max_word：最细切分，例如 “世界上” 这个内容，首先就看这个整体是否是一个词，如果是就将他作为一个词条，然后在看是否能继续切分，如果可以就继续切分，找到新词条.

以下我们可以看一下使用 ik_smart 对 "java是世界上最好的语言进行分词".

ik_max_word 分词输入：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "java是世界上最好的语言"
}

输出如下：

{
  "tokens" : [
    {
      "token" : "java",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "ENGLISH",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "世界上",
      "start_offset" : 5,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "世界",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "上",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "最好",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "的",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 6
    },
    {
      "token" : "语言",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    }
  ]
}

ik_smart 分词输入：

GET /_analyze
{
  "analyzer": "ik_smart",
  "text": "java是世界上最好的语言"
}

输出：

{
  "tokens" : [
    {
      "token" : "java",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "ENGLISH",
      "position" : 0
    },
    {
      "token" : "是",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "世界上",
      "start_offset" : 5,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "最好",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "的",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "语言",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

3.4、扩展词词典

随着互联网的不断发展，也出现了很多新的词语，在原有的词汇列表中不存在，比如：“鸡你太美”，“奥里给”.......

所以我们的词汇也需要不断更新，IK分词器也提供了扩展词汇的功能.

a）在 es 的插件数据卷目录下，进入 ik 文件夹，接着进入 config 目录.

找到如下文件

b）通过 vim 打开 IKAnalyzer.vfg.xml 配置文件，添加以下内容：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->

        <!-- 例如如下添加 ext.dic 文件 -->
        <entry key="ext_dict">ext.dic</entry>
</properties>

c）新建一个 ext.dic，添加需要的词汇.

Ps：当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

d）重启 es

docker restart es

e）测试效果

ik_max_word 分词输入：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "听过鸡你太美和奥里给吗？"
}

输出：

{
  "tokens" : [
    {
      "token" : "听过",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "鸡你太美",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "太美",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "和",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "奥里给",
      "start_offset" : 7,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "吗",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 5
    }
  ]
}

3.5、停用词词典

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

a）IKAnalyzer.cfg.xml配置文件内容添加

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典-->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

b）在 stopword.dic 中添加停用词.

可以看到这里，原本已经有一些停用的词（一些介词...没必要创建索引）

这里我们添加 “小黑子”，如下

c）重启 es

docker restart es

d）测试

可以看出，并没有分出 小黑子 这个词条

 

陈亦康
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
bitnami-docker-elasticsearch-exporter:用于Elasticsearch-exporter的Bitnami Docker映像
03-10
什么是Elasticsearch Exporter？ Prometheus导出器，用于有关ElasticSearch的各种指标。 TL; DR $ docker run --name elasticsearch-exporter bitnami/elasticsearch-exporter:latest 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源代码变化，并使用我们的自动化系统及时发布该图像的新版本。 对于Bitnami映像，将尽快提供最新的错误修复和功能。 Bitnami容器，虚拟机和云映像使用相同的组件和配置方法-可以轻松地根据项目需求在格式之间进行切换。 我们所有的映像都基于是一个基于Debian的极简容器映像，它为您提供了一个小的基本容器映像，并且熟悉领先Linux发行版。 Docker Hub中可用的所有Bitnami映像均已使用签名。
centos7使用docker-compose安装es(包括IK分词器扩展)+kibana
04-13
环境：centos7.7_x86_64 1、虚拟机内存要稍大些至少2G 2、es需要修改linux宿主机的一些参数 设置vm.max_map_count=262144 vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 3、docker和docker-compose安装要提前安装完成 4、将下载内容解压一个目录 5、运行 docker-compose up # 此命令环境会在终端前台运行 docker-compose up -d # 加上-d会放入后台进行环境的启动 如有问题，欢迎进行联系交流
docker快速安装Es和kibana
weixin_38597669的博客
03-26 848
本文分享了如何用docker在测试环境快速搭建es和kibana服务。
Elasticsearch06：Elasticsearch分词详解：ES分词介绍、倒排索引介绍、分词器的作用、停用词
weixin_40612128的博客
03-16 5224
一、ES分词介绍 ES中在添加数据，也就是创建索引的时候，会先对数据进行分词。 在查询索引数据的时候，也会先根据查询的关键字进行分词。 所以在ES中分词这个过程是非常重要的，涉及到查询的效率和准确度。 假设有一条数据，数据中有一个字段是titile，这个字段的值为LexCorp BFG-9000。 我们想要把这条数据在ES中创建索引，方便后期检索。 创建索引和查询索引的大致流程是这样的： 图中左侧是创建索引的过程： 首先对数据进行空白字符分割，将LexCorp BFG-9000切分为LexCorp和BFG
elasticsearch+kibana（国内镜像超快）所有版本下载
weixin_45525601的博客
05-12 4642
elasticsearch所有版本 kibana所有版本
docker 部署es、kibana详细教程
sffSswww的博客
01-18 1947
关于docker部署elasticsearch,ik分词器，和kibana
Docker安装ES及Kibana
weixin_42933702的博客
04-26 1324
v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录。-v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录。-v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录。--network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中。-p 5601:5601：端口映射配置。
【Docker应用篇】Docker安装ES和kibana
输入技术、输出想法
06-16 2807
这里写目录标题1. 拉取ES镜像1.1 启动ES镜像1.2 修改配置，解决跨域访问问题2. 安装ik分词器3. 拉取kibana镜像3.1 启动kibana镜像 1. 拉取ES镜像 docker pull elasticsearch:7.6.1 Elasticsearch 7.6.1 目录结构如下： bin ：脚本文件，包括 ES 启动 & 安装插件等等 config ： elasticsearch.yml（ES 配置文件）、jvm.options（JVM 配置文件）、日志配置文件等等 lib
ES(Elasticsearch)的docker安装部署教程
热门推荐
qq_33034733的博客
05-24 1万+
需要手动将docker中的es四个目录同步到宿主机上。1.1 拉取docker镜像。1.2 创建es挂载目录。1.4 桥接网络节点配置。3、logstash部署。1.3 开放防火墙端口。1.5 容器实例启动。2、Kibana部署。
docker部署es
qq_45541846的博客
05-20 4538
docker部署es
使用docker安装elastic search[ES]和kibana
清雨小竹
05-30 993
elasticsearch的9200端口是供外部访问使用；-e ES_JAVA_OPTS=”-Xms256m -Xmx256m" 限制内存大小。-e “discovery.type=single-node"单节点启动。等docker容器起来一分钟左右，再访问9200 端口，会返回。在本地就能看到拷贝出来的kibana.yml文件，然后会分别让重置以下的密码，这里重置成123456。确保有以下几个配置，原有的配置可以不改动。后续带x-pack的认证信息的访问。重新启动挂载了地址的新的容器。
window版本elasticsearch+elasticsearch-head-maste+kibana+ik分词器
04-26
window版本elasticsearch+elasticsearch-head-maste+kibana+ik分词器 支持win7、jdk1.8
docker-compose-elasticsearch-kibana：用于Elasticsearch和Kibana的Docker Compose
01-31
docker-compose-elasticsearch-kibana：用于Elasticsearch和Kibana的Docker Compose
jaeger-elasticsearch-compose:Docker-compose配置，可将Jaeger用作Elasticsearch作为存储来快速部署
05-15
Jaeger elasticsearch撰写 Docker-compose配置，用于将Jaeger用作Elasticsearch作为存储来快速部署。 用法 docker-compose up
Elasticsearch：如何使用 Java 对索引进行 ES|QL 的查询
最新发布
Elastic 中国社区官方博客
05-05 1085
​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。
ES数据存储与查询基本原理
Steve Wang's blog
05-02 1128
ES简介、ES核心概念、ES读写原理
【翻译】Elasticsearch-索引模块
qq_49444793的博客
04-30 1035
索引块限制对指定的索引的可用的操作类型（就是指对该索引能进行什么操作）。这些块有不同的风格，可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除，也可以通过专用API添加，这也可以确保写入块一旦成功返回用户，所有索引分片都能正确地计算该块，例如，在添加写块后，所有对索引进行中的写入会完成。
Elasticsearch文本分析深度解析
一起coding，一起嗨。
04-28 615
Elasticsearch文本分析深度解析
ESLint 和 Prettier 各自的作用及区别
qq_39454432的博客
04-29 753
ESLint 和 Prettier 各自的作用及区别
docker-compose elasticsearch 8 kibana配置
03-30
以下是使用docker-compose配置elasticsearch 8和kibana的示例： 1. 创建一个新的目录并在其中创建docker-compose.yml文件 ``` mkdir es-kibana cd es-kibana touch docker-compose.yml ``` 2. 编辑docker-compose.yml文件 ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.0.0 container_name: elasticsearch environment: - discovery.type=single-node ports: - "9200:9200" volumes: - esdata:/usr/share/elasticsearch/data kibana: image: docker.elastic.co/kibana/kibana:8.0.0 container_name: kibana depends_on: - elasticsearch ports: - "5601:5601" volumes: esdata: ``` 3. 启动docker-compose ``` docker-compose up ``` 4. 验证elasticsearch和kibana是否正在运行 - 打开浏览器并访问http://localhost:9200，应该会看到elasticsearch的响应 - 打开浏览器并访问http://localhost:5601，应该会看到kibana的登录页面 现在你已经成功地使用docker-compose配置了elasticsearch 8和kibana！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈亦康

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值