Docker单点部署[8.11.3] Elasticsearch + Kibana + ik分词器 + pinyin分词器

已于 2023-12-24 20:01:28 修改
阅读量1.3k 收藏 3
点赞数 1
分类专栏： 中间件 # Elasticsearch 文章标签： docker elasticsearch jenkins
于 2023-12-15 21:41:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51390969/article/details/135025447
版权

文章目录


Elasticsearch 和 Kibana 版本一般需要保持一致才能一起使用，但是从 8.x.x开始，安全验证不断加强，甚至8.x.x之间的版本安全验证方法都不一样，真的很恼火。

这里记录一次成功简单登陆Kibana的实际经验。

一、Elasticsearch

运行Elasticsearch容器

docker run -d \
	--name es \
	-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
	-e "discovery.type=single-node" \
	-e "xpack.security.enabled=true" \
	-e "xpack.security.enrollment.enabled=true" \
	-v your_host_es_data_path:/usr/share/elasticsearch/data \ #宿主机绝对路径挂载
	-v your_host_es_plugins_path:/usr/share/elasticsearch/plugins \ #宿主机绝对路径挂载
	--privileged \
	--network es-net \
	-p 9200:9200 \
	-p 9300:9300 \
elasticsearch:8.11.3

重置elastic密码，记住这段密码

docker exec -it es /usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic

重置kibana_system 密码，记住这段密码

docker exec -it es /usr/share/elasticsearch/bin/elasticsearch-reset-password -u kibana_system

二、Kibana

运行Kibana容器，账户密码填kibana_system 的

docker run -d \
	--name kibana \
	-e ELASTICSEARCH_HOSTS=http://es:9200 \
	-e ELASTICSEARCH_USERNAME=kibana_system \
	-e ELASTICSEARCH_PASSWORD=kibana_system_passwrod \ #刚才获得的kibana_system 密码
	--network=es-net \
	-p 5601:5601  \
kibana:8.11.3

三、访问

访问http://localhost:5601
用elastic的账号密码登录。
在这里插入图片描述

四、其他

关于一些报错

  1. kibana容器创建时不允许用elastic用户连接elasticsearch
  2. 运行docker exec -it es01 /usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana报错SSL错误
  3. 等等各种因为使用了不是8.11.3版本的安全验证方法遇到的错误

这里是官方的install with docker教程，也是一坨shit。
https://www.elastic.co/guide/en/kibana/current/docker.html

这里是官方关于安全配置的docs，遇到什么问题就多翻翻。
https://www.elastic.co/guide/en/elasticsearch/reference/master/manually-configure-security.html

或者来社区多讨论讨论。
https://discuss.elastic.co/latest

五、ik分词器

这里是官方仓库
https://github.com/medcl/elasticsearch-analysis-ik
推荐有两种安装方式

第一种：在线安装

# 进入容器内部
docker exec -it es /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.11.1/elasticsearch-analysis-ik-8.11.1.zip

#退出
exit
#重启容器
docker restart es
docker restart kibana

如果遇到ik版本和es版本不匹配问题请看下面

第二种：离线安装

  1. 在发行版下载页面，找到和es版本最接近的ik版本(博主这里是ik8.11.1 + es8.11.3)
    https://github.com/medcl/elasticsearch-analysis-ik/releases

  2. 在您的 your_host_es_plugins_path 目录下，创建一个名为 ik 的新文件夹。

  3. 将下载的 elasticsearch-analysis-ik-8.11.1.zip 文件解压到刚刚创建的 ik 文件夹中
    在这里插入图片描述

  4. 修改plugin-descriptor.properties文件

!如无需要请跳过，可能造成无法预估的bug

# 'version': plugin's version
version=8.11.3
# 'elasticsearch.version' version of elasticsearch compiled against
# You will have to release a new version of the plugin for each new
# elasticsearch release. This version is checked when the plugin
# is loaded so Elasticsearch will refuse to start in the presence of
# plugins with the incorrect elasticsearch.version.
elasticsearch.version=8.11.3
  1. 重启容器
docker restart es
docker restart kibana

安装好了之后，登录kinaba，找到Dev Tools - Console

#测试分词器
GET /_analyze
{
  "text":"我爱吃冰淇淋，也喜欢小淇，i want to eat her",
  "analyzer":"ik_smart"
}

#测试分词器
GET /_analyze
{
  "text":"我爱吃冰淇淋，也喜欢小淇，i want to eat her",
  "analyzer":"ik_max_word"
}

在这里插入图片描述

这里的句子分词ik_smart和ik_max_word区别不明显，可以换用“程序员”试试。

六、ik分词器的扩展和停用

1. 配置

ik分词器并不能准确识别最新的网络流行词，以及禁用敏感词。
我们可以手动配置来实现这两点。
在这里插入图片描述
修改IKAnalyzer.cfg.xml文件如下

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">stopword.dic</entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

这里的意思是，使用同目录下的ext.dic作为扩展词汇；使用同目录下的stopword.dic作为禁用词汇。这两个文件有就用，没有就新建。
在这里插入图片描述
在这里插入图片描述
最后记得重启es容器

2. 测试

#测试分词器
GET /_analyze
{
  "text":"程序员墨扛教育的课程可以白嫖啊，而且就业率高达95%哦，奥利给！嘤",
  "analyzer":"ik_smart"
}

{
  "tokens": [
    {
      "token": "程序员",
      "start_offset": 0,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "墨扛教育",
      "start_offset": 3,
      "end_offset": 7,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "课程",
      "start_offset": 8,
      "end_offset": 10,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "可以",
      "start_offset": 10,
      "end_offset": 12,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "白嫖",
      "start_offset": 12,
      "end_offset": 14,
      "type": "CN_WORD",
      "position": 4
    },
    {
      "token": "而且",
      "start_offset": 16,
      "end_offset": 18,
      "type": "CN_WORD",
      "position": 5
    },
    {
      "token": "就业率",
      "start_offset": 18,
      "end_offset": 21,
      "type": "CN_WORD",
      "position": 6
    },
    {
      "token": "高达",
      "start_offset": 21,
      "end_offset": 23,
      "type": "CN_WORD",
      "position": 7
    },
    {
      "token": "95",
      "start_offset": 23,
      "end_offset": 25,
      "type": "ARABIC",
      "position": 8
    },
    {
      "token": "奥利给",
      "start_offset": 28,
      "end_offset": 31,
      "type": "CN_WORD",
      "position": 9
    }
  ]
}

七、pinyin分词器

离线安装

  1. 在发行版下载页面，找到和es版本最接近的版本(博主这里是pinyin8.11.1 + es8.11.3)
    https://github.com/medcl/elasticsearch-analysis-pinyin

  2. 在您的 your_host_es_plugins_path 目录下，创建一个名为 py 的新文件夹。

  3. 将下载的 elasticsearch-analysis-pinyin-8.11.1.zip 文件解压到刚刚创建的 py 文件夹中
    在这里插入图片描述

  4. 修改plugin-descriptor.properties文件

!如无需要请跳过，可能造成无法预估的bug

# 'version': plugin's version
version=8.11.3
# 'elasticsearch.version' version of elasticsearch compiled against
# You will have to release a new version of the plugin for each new
# elasticsearch release. This version is checked when the plugin
# is loaded so Elasticsearch will refuse to start in the presence of
# plugins with the incorrect elasticsearch.version.
elasticsearch.version=8.11.3
  1. 重启容器
docker restart es
docker restart kibana

安装好了之后，登录kinaba，找到Dev Tools - Console

#测试分词器
POST /_analyze
{
  "text":"如家酒店还不错",
  "analyzer":"pinyin"
}

在这里插入图片描述

注意事项

pinyin分词器默认时有很多缺点，比如每个字都拆分变成拼音，不符合一般需求，并且如果使用pinyin分词器，默认的中文索引就没了，只剩下pinyin索引了。所以，需要完善以下几点：

  1. 分词时不仅包含汉字，还需包含拼音
  2. 分词时按词分，不是字
  3. 使用汉字查询时，不会查询到同音词条目docs

为了做到这几点，需要在创建索引库时构建一个自定义分词器，如下

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",
          "keep_full_pinyin":false,
          "keep_joined_full_pinyin":true,
          "keep_original":true,
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

在这里插入图片描述
我们自定义了三步之中的tokenizer和filter，前者用ik分词，后者用pinyin分词，同时自定义了pinyin分词器的一些设置，分词时同时保留汉字和拼音，具体设置看pinyin分词器的github官网。同时设定了存入数据时使用分词器my_analyzer，搜索时，使用分词器ik_smart。

存入两个数据，如下

POST /test/_doc/1
{
  "id":1,
  "name":"狮子"
}

POST /test/_doc/2
{
  "id":2,
  "name":"虱子"
}

那么现在，索引库的具体内容如下所示在这里插入图片描述
因为搜索时使用的是ik_smart分词器，不是自定义分词器，所以这里已经解决了同音词的问题。

木子dn
关注
专栏目录
在docker容器中安装Elasticsearch分词器并同步数据
02-23 503
在docker容器中安装Elasticsearch分词器并Elasticsearch同步数据
Elasticsearch教程(35) ik中文分词器+pinyin拼音分词器+同义词
Java Spring Elasticsearch
07-29 4034
ik分词器+pinyin分词器+同义词 股票名称搜索
使用docker安装拼音分词器
LINING_GG的博客
12-07 556
使用docker安装拼音分词器
Docker安装的Elasticsearch安装ik分词器
代码改变世界
06-25 382
下载与Elasticsearch版本对应的ik分词器 下载地址：https://github.com/medcl/elasticsearch-analysis-ik/tags 打开Elasticsearch的安装目录，在plugins下创建文件ik。 sh-4.2# cd plugins/ sh-4.2# mkdir ik 下载后拷贝到刚才创建的ik目录下，后面部分的“:”前面的是容器的名称，默认的容器名称是elasticsearch，输入命令：docker ps查看容器名称。 PS C:\WINDO
docker安装ElasticSearch的ik分词器
张俊杰 的博客
02-14 2857
准备ik分词器 准备ik分词器,注意ik分词器的版本必须要和ElasticSearch的版本一致,比如说ElasticSearch是7.6.1版本,那么你的ik分词器也必须是7.6.1版本 自己自行下载,或者使用我百度网盘里面的 链接:https://pan.baidu.com/s/1_Iv2R8pmYaHkoaOk_m8OuQ 提取码: 5ezt 放到linux上 准备一个放在 elasticsearch-analysis-ik-7.6.1.zip "/tmp/elasticsearch-.
Docker安装elasticsearch ik分词器
名字好难想
11-14 197
1.官网下载ik压缩包 ，最好是和安装的elasticsearch 版本一致 地址；https://github.com/medcl/elasticsearch-analysis-ik/releases 2.上传的服务器的一个文件夹下面， 这里推荐一款上传的空寂，非常好用，上传直接拖入响应的文件夹就行 finalSell 3.解压zip压缩包，需要提前安装unzip 依赖 yum install -y unzip zip 4.解压之后的目录 5. 进入docker 安装elasticSearch
Docker 快速部署 单机 elasticsearch+kibana 8.5.0
weixin_46925850的博客
12-06 1349
Docker 快速部署 单机 elasticsearch + kibana 8.5.0
elasticsearch+kibana+ik分词器
05-09
elasticsearch的7.12.1版本的镜像，使用docker load -i elasticsearch.tar 加载镜像 kibana的7.12.1版本的镜像，使用docker load -i kibana.tar 加载kibana...使用docker安装elasticsearch、数据可视化kibana和IK分词器
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
centos7使用docker-compose安装es(包括IK分词器扩展)+kibana
04-13
2、es需要修改linux宿主机的一些参数 设置vm.max_map_count=262144 vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 3、docker和docker-...
docker 安装elasticsearch+kibana+IK分词器
qq_62038093的博客
10-22 914
docker部署elasticsearch
docker elasticsearch7.4.1安装分词器
qq_36573926的博客
09-02 332
1.使用docker安装es docker pull elasticsearch:7.4.2 docker images docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d --name elasticsearch -p 9200:9200 -p 9300:9300 *****[注：这是要运行的镜像id] export PATH=/home/jdk1.8.0_191/bin:$PATH docker run --name elasticsearch.
使用docker安装elasticsearch和kibana，ik分词器，拼音分词器安装、使用和介绍
最新发布
m0_69594200的博客
04-21 1760
Elasticsearch概念学习 、使用docker安装Elasticsearch和kibana
Elasticsearch：Pinyin 分词器
Elastic 中国社区官方博客
09-10 5522
Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就=可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下如何进...
# Docker中部署elasticsearch并配置分词器
qq_41606730的博客
11-10 1066
centos7通过docker部署elasticsearch，在docker中给es配置中文分词
【ES】ES 拼音 Pinyin 分词器
九师兄
10-06 7416
1.概述 转载：https://www.cnblogs.com/sanduzxcvbnm/p/12083606.html Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下.
【ES】ES 拼音 PINYIN 分词器
qq_45130645的博客
01-11 925
这样在我们的电脑里就会发现下载好的elasticsearch-analysis-pinyin源码。在进行编译之前，我们必须修改一下我们的版本号以便和我们的Elasticsearch的版本号是一致的。答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。由于elasticsearch-analysis-pinyin目前没有可以下载的可以安装的发布文件，我们必须自己下载源码，并编译。Elastic的Medcl提供了一种搜索Pinyin搜索的方法。
使用docker安装elasticsearch以及kibana、ik中文分词器插件
lxh10358的博客
03-21 1025
使用docker安装elasticsearch以及kibana、ik中文分词器插件
Docker安装部署[8.x]版本Elasticsearch+Kibana+IK分词器
m0_67713667的博客
10-31 1947
在我发的上一个博客里记录了如何安装7.x版本的elasticsearch，我在跟着教学学习Java Rest Client的时候发现在elastic的官网上Java Rest Client已经被标注为过时了，elastc提供了全新的Elasticsearch Java API Client，作为程序员，应该勇于去尝试新技术，因此我决定继续尝试使用elasticsearch8.x版本。点击左上角的扩容，如果显示无法给只读权限的分区扩容，右键查看该分区挂载在哪个路径下，使用root用户修改权限。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值