docker安装配置分布式elasticsearch、kibana、head、cerebro

最新推荐文章于 2023-02-06 13:43:53 发布
最新推荐文章于 2023-02-06 13:43:53 发布
阅读量256 收藏
点赞数
分类专栏： elasticsearch docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vincent_duan/article/details/100880528
版权

有三个节点分别是node-master（192.168.152.45），node-data1（192.168.152.39）, node-data2（192.168.152.29）

在每一太节点上，使用docker安装elasticsearch

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.3

Master node

在node-master节点上，新建一个配置文件：

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

cluster.name: my-application
node.name: node-master
node.master: true
node.data: false
network.publish_host: 192.168.152.45
network.host: 0.0.0.0
http.max_content_length: 1024mb
http.cors.enabled: true
http.cors.allow-origin: "*" 
discovery.zen.ping_timeout: 10s 
discovery.zen.fd.ping_timeout: 10000s
discovery.zen.fd.ping_retries: 10

network.publish_host，表示发布地址，是唯一的，用来集群各节点的相互通信。

执行命令运行ES：

docker run  --name esmaster --ulimit nofile=65536:131072 -p 9200:9200 -p 9300:9300 -v /home/iie4bu/ddy/docker-elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/iie4bu/ddy/docker-elasticsearch/data:/usr/share/elasticsearch/data  -e "ES_JAVA_OPTS=-Xms5120m -Xmx5120m" docker.elastic.co/elasticsearch/elasticsearch:6.2.3

如果想要在后台运行，可以添加 -d 选项

Data node

data node 的配置文件如下:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

cluster.name: my-application
node.name: node-data1
node.master: false
node.data: true
network.publish_host: 192.168.152.39
network.host: 0.0.0.0
http.max_content_length: 1024mb
discovery.zen.ping.unicast.hosts: ["192.168.152.45"]
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.zen.ping_timeout: 10s
discovery.zen.fd.ping_timeout: 10000s
discovery.zen.fd.ping_retries: 10

运行docker命令：

docker run  --name es-data1 --ulimit nofile=65536:131072 -p 9200:9200 -p 9300:9300 -v /home/iie4bu/ddy/docker-elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/iie4bu/ddy/docker-elasticsearch/data:/usr/share/elasticsearch/data  -e "ES_JAVA_OPTS=-Xms5120m -Xmx5120m" docker.elastic.co/elasticsearch/elasticsearch:6.2.3

如果想要在后台运行，可以添加 -d 选项

在每个节点上启动ES后，使用docker container ls 查看：

iie4bu@swarm-manager:~$ docker container ls
CONTAINER ID        IMAGE                                                 COMMAND                  CREATED              STATUS              PORTS                                            NAMES
869fcd7708ed        docker.elastic.co/elasticsearch/elasticsearch:6.2.3   "/usr/local/bin/dock…"   About a minute ago   Up About a minute   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   esmaster
iie4bu@swarm-worker1:~$ docker container ls
CONTAINER ID        IMAGE                                                 COMMAND                  CREATED              STATUS              PORTS                                            NAMES
c8c97f4d0685        docker.elastic.co/elasticsearch/elasticsearch:6.2.3   "/usr/local/bin/dock…"   About a minute ago   Up About a minute   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   es-data1
iie4bu@swarm-worker2:~$ docker container ls
CONTAINER ID        IMAGE                                                 COMMAND                  CREATED              STATUS              PORTS                                            NAMES
518ce01ecdd7        docker.elastic.co/elasticsearch/elasticsearch:6.2.3   "/usr/local/bin/dock…"   About a minute ago   Up About a minute   0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp   es-data2

安装elasticsearch-head

获取镜像：

iie4bu@swarm-manager:~$ docker pull tobias74/elasticsearch-head

执行容器：

iie4bu@swarm-manager:~$ docker run -d --name es-head -p 9100:9100 --restart always tobias74/elasticsearch-head

使用elasticsearch-head查看

可以成功运行。

安装kibana

安装kibana：

docker pull docker.elastic.co/kibana/kibana:6.2.3

运行kibana：

docker run -e ELASTICSEARCH_URL=http://192.168.152.45:9200 -p 5601:5601 --name kibana docker.elastic.co/kibana/kibana:6.2.3

e3c454655b32feedce6c658ebe744666778.jpg

在一个数据节点上开启两个ES

在节点node-data1（192.168.152.39）上在新建一个elasticsearch节点node-data3

elasticsearch.yml文件内容如下：

cluster.name: my-application
node.name: node-data3
node.master: false
node.data: true
transport.tcp.port: 9301
http.port: 9201
network.publish_host: 192.168.152.39
network.host: 0.0.0.0
http.max_content_length: 1024mb
discovery.zen.ping.unicast.hosts: ["192.168.152.45:9300"]
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.zen.ping_timeout: 10s
discovery.zen.fd.ping_timeout: 10000s
discovery.zen.fd.ping_retries: 10

network.bind_host: 192.168.152.39因为是在docker中，所以不需要绑定ip

这里需要注意的是transport.tcp.port和http.port必须设置，因为node-data1与node-data3在同一台服务器上，否则报错信息如下:

[2019-07-11T08:11:50,250][INFO ][o.e.d.z.ZenDiscovery     ] [node-data3] failed to send join request to master [{node-master}{ahgcLIkTT32KVcZORZzUZQ}{CueMB9y5TVWEi_h7B0I9QA}{192.168.152.45}{192.168.152.45:9300}{ml.machine_memory=67430027264, ml.max_open_jobs=20, ml.enabled=true}], reason [RemoteTransportException[[node-master][172.17.0.2:9300][internal:discovery/zen/join]]; nested: ConnectTransportException[[node-data3][192.168.152.39:9300] handshake failed. unexpected remote node {node-data1}{jji1eahBReWUu-IfBLEMyg}{Jo_QU2nlS8Oea0JundbRMQ}{192.168.152.39}{192.168.152.39:9300}{ml.machine_memory=67430027264, ml.max_open_jobs=20, ml.enabled=true}]; ]

运行命令：

docker run  --name es-data3 --ulimit nofile=65536:131072 -p 9201:9201 -p 9301:9301 -v /home/iie4bu/ddy/docker-elasticsearch2/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/iie4bu/ddy/docker-elasticsearch2/data:/usr/share/elasticsearch/data  -e "ES_JAVA_OPTS=-Xms5120m -Xmx5120m" docker.elastic.co/elasticsearch/elasticsearch:6.2.3

3a5e61e3f7ccbe5e6d258e005005f6fa540.jpg

这样就在一台服务器上启动两个ES节点了。

ES安装过程中出现的问题：

问题1：

[temuser@n1 data-node1]$ docker run  --name esmaster --ulimit nofile=65536:131072 -p 9202:9202 -p 9302:9302 -v /home/temuser/ddy/elasticsearch/master/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/temuser/ddy/elasticsearch/master/data:/usr/share/elasticsearch/data  -e "ES_JAVA_OPTS=-Xms5120m -Xmx5120m" docker.elastic.co/elasticsearch/elasticsearch:6.2.3
[2019-07-13T05:01:57,878][INFO ][o.e.n.Node               ] [node-master2] initializing ...
[2019-07-13T05:01:57,890][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [node-master2] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: Failed to create node environment
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.2.3.jar:6.2.3]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.2.3.jar:6.2.3]
Caused by: java.lang.IllegalStateException: Failed to create node environment
	at org.elasticsearch.node.Node.<init>(Node.java:267) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[elasticsearch-6.2.3.jar:6.2.3]
	... 6 more
Caused by: java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes
	at sun.nio.fs.UnixException.translateToIOException(UnixException.java:84) ~[?:?]
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) ~[?:?]
	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107) ~[?:?]
	at sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider.java:384) ~[?:?]
	at java.nio.file.Files.createDirectory(Files.java:674) ~[?:1.8.0_161]
	at java.nio.file.Files.createAndCheckIsDirectory(Files.java:781) ~[?:1.8.0_161]
	at java.nio.file.Files.createDirectories(Files.java:767) ~[?:1.8.0_161]
	at org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:204) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.node.Node.<init>(Node.java:264) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[elasticsearch-6.2.3.jar:6.2.3]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[elasticsearch-6.2.3.jar:6.2.3]
	... 6 more

原因是宿主机上的/home/temuser/ddy/elasticsearch/master/data权限不足导致的。但是错误日志报的却是docker容器下的 /usr/share/elasticsearch/data/nodes目录。

解决办法：chmod 777 /home/temuser/ddy/elasticsearch/master/data

问题2:

elasticsearch访问时需要登录：

方法一：

原因是在docker中默认安装了x-pack。需要卸载x-pack:

步骤：

  1.  docker exec -it es1 /bin/bash 进入容器
  2.  卸载x-pack插件
  •     ./bin/elasticsearch-plugin remove x-pack
  • 删除配置文件（由于配置文件保护，需要手动删除）
    • cd /usr/share/elasticsearch/config
    • rm -rf x-pack
  • 重启。docker restart es1

方法二(推荐)：

将x-pack关闭：

elasticsearch.yml文件内容如下：

cluster.name: my-application2
node.name: node-master2
node.master: true
node.data: false
transport.tcp.port: 9312
http.port: 9212
network.publish_host: 192.168.152.39
network.host: 0.0.0.0
http.max_content_length: 1024mb
discovery.zen.ping.unicast.hosts: ["192.168.152.39:9312"]
http.cors.enabled: true
http.cors.allow-origin: "*" 
discovery.zen.ping_timeout: 10s 
discovery.zen.fd.ping_timeout: 10000s
discovery.zen.fd.ping_retries: 10

xpack.security.enabled: false
xpack.monitoring.enabled: false
xpack.graph.enabled: false
xpack.watcher.enabled: false

kibana.yml文件内容如下：

server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.152.39:9212"

xpack.security.enabled: false
xpack.monitoring.enabled: false
xpack.graph.enabled: false
xpack.reporting.enabled: false

运行kibana：

docker run -d --name kibana -v /home/vincent/docker/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.3

参考：https://www.cnblogs.com/blogjun/articles/8072751.html

安装cerebro

docker pull lmenezes/cerebro

然后直接运行：

docker run -d -p 9000:9000 --name cerebro --restart always lmenezes/cerebro

 安装ik分词器

可以修改elasticsearch.yml文件：

cluster.name: my-application
node.name: node-data4
node.master: false
node.data: true
# network.bind_host: 192.168.171.29
transport.tcp.port: 9301
http.port: 9201
network.publish_host: 192.168.171.29
network.host: 0.0.0.0
http.max_content_length: 1024mb
discovery.zen.ping.unicast.hosts: ["192.168.171.45:9300","192.168.171.45:9301","192.168.171.45:9302"]
http.cors.enabled: true
http.cors.allow-origin: "*" 
discovery.zen.ping_timeout: 10s 
discovery.zen.fd.ping_timeout: 10000s
discovery.zen.fd.ping_retries: 10

将ik分词器拷贝到服务器中，目录结构如下：

然后执行命令：

docker run -d --name esmaster --ulimit nofile=65536:131072 -p 9200:9200 -p 9300:9300 -v /home/iie4bu/ddy/docker-elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/iie4bu/ddy/elasticsearch-analysis-ik-6.2.3:/usr/share/elasticsearch/plugins/ -v /home/iie4bu/ddy/docker-elasticsearch/data:/usr/share/elasticsearch/data  -e "ES_JAVA_OPTS=-Xms5120m -Xmx5120m" docker.elastic.co/elasticsearch/elasticsearch:6.2.3

修改了es中的plugins之后，需要修改kibana的plugin否则无法进入kibana：

docker run -d --name kibana -v /home/iie4bu/ddy/docker-kibana/kibana.yml:/usr/share/kibana/config/kibana.yml -v /home/iie4bu/ddy/docker-kibana/plugins:/usr/share/kibana/plugins/ -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.3

 

vincent_hahaha
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于 Docker 一键式部署分布式 ElasticSearch
u014296502的专栏
09-22 240
启动步骤 一共有三个步骤： 在桌面或者任何地方新建一个文件夹 命名为 docker 新建一个文件命名为docker-compose.yml, 注意一定要命名成docker-compose.yml 把下面提供的代码粘贴复制进去，在当前目录下打开控制台输入 docker-compose up 值得注意的是你一定要保证你的 Docker 是处于打开状态，否则是无法启动的。我们利用 Docker 提...
Docker 简单部署 ElasticSearch的实现方法
09-30
主要介绍了Docker 简单部署 ElasticSearch的实现方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Docker -- 分布式处理与大数据平台-Elasticsearch
weixin_42500287的博客
07-20 152
Elasticsearch Elasticsearch 是基于Lucene 的开源搜索服务（Java 实现）。它是分布式、多租户的全文搜索引擎，支持RESTful Web接口。Elasticsearch 支持实时分布式数据存储和分析查询功能，可以轻松扩展到上百台服务器，同时支持处理PB级结构化或非结构化数据。如果配合Logstas、Kibana等组件，可以快速构建一套日志消息分析平台。 1 使用官方镜像 $ docker run -d elasticsearch # 也可以在启动时传入一些额外的配置参数 $
Docker 部署 分布式搜索引擎 Elastic Search
wanghuichen的博客
02-06 6244
如何通过 Docker 安装分布式搜索引擎 Elastic search？ 一文彻底搞定！
docker搭建分布式Elasticsearch集群(最简单教程)
qq_41678224的博客
11-04 929
docker搭建分布式Elasticsearch集群 主机 node1:192.168.50.21 node2:192.168.50.22 node3:192.168.50.23 环境依赖 Jdk1.8 docker root权限 搭建步骤（确保已经安装docker和jdk1.8） 切换root权限 sudo -i 创建es文件夹 mkdir /data/docker_elasticsearch 创建脚本文件并编写脚本 node1 新建脚本文件create_ES_cluste
docker安装es7.13和kibana7.13
06-29
docker安装es7.13和kibana7.13详细笔记文档总结和相关包
Docker安装Elasticsearch和Kibana(单机开发版)
01-07
docker hub elasticsearch tag 这里以安装7.6.0为例 右边有拉取镜像的指令,直接复制,在linux下执行即可拉取镜像 这里镜像已拉取完毕 三.容器运行ES 这里强烈建议按照docker hub的文档来启动,不然会遇到很多坑 ...
docker安装elasticsearch和kibana的方法步骤
09-29
主要介绍了docker安装elasticsearch和kibana的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Docker下安装ElasticSearch和Kibana的示例代码
09-29
主要介绍了Docker下安装ElasticSearch和Kibana的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
docker 运行 elasticsearch + kibana + head 集群
01-07
巨坑提醒：ES和kibana的版本尽可能的保证一致，否则要去修改很多配置信息，而且不一定能安装成功，现象：ES安装成功了但是kibana链接到ES报错：Elasticsearch plugin is red ElasticSearch安装 Elasticsearch 是个...
橘子学ES03之Docker安装ELK+cerebro
liuwenqiang1314的博客
07-06 884
docker安装es + kinaba + cerebro。
Docker Networking Docker 网络设置
weixin_43047092的博客
05-27 550
在这篇博文里我们会讨论 在Docker中使用Elasticsearch 时的网络配置。 注：这篇博文会用到Docker Hub中的Elasticsearch 镜像。该镜像的开发和生产与Elastic无关。 你也可以使用你自己的镜像，具体步骤可以参考How to make a Dockerfile for Elasticsearch.（如何为Elasticsearch创建Dockerfile） 可以用不同的方式在Docker中设置网络的方式，默认情况下提供三种网络类型。可以通过docker network l
docker搭建es6.x.x集群
Dark_AK44的博客
06-27 641
基于docker搭建es6.x.x集群
docker部署elasticsearch集群
yunweimao的博客
05-01 1776
1、拉取镜像文件[root@iZ2zeir6vcnpz8qw3t455tZ ~]# docker pull elasticsearch:6.7.12、创建配置文件[root@iZ2z...
docker搭建es集群
weixin_40496774的博客
05-06 619
1、配置es集群 在系统分别建立三个文件夹，如/mydata/elasticsearch1/conf/、/mydata/elasticsearch2/conf/、/mydata/elasticsearch3/conf/, 为目录设置权限chmod 777 /mydata/elasticsearch1/conf/, 分别建立3个文件，依次为es1.yml,es2.yml,es...
Docker Network Configuration 高级网络配置
美味小鱼的杂货铺
08-20 1万+
Network Configuration TL;DR When Docker starts, it creates a virtual interface named docker0 on the host machine. It randomly chooses an address and subnet from the private range defined by RF
Docker网络详解之Host
热门推荐
just coding
10-25 3万+
Docker中的host模式指定是容器与主机享受相同的network namespace，在这种情况下，我们访问主机端口就能访问我们的容器。比如说我们运行tomcat容器并且用 -- network=host 来指定我们的网络模式为host，这样我们访问本机的8080端口就能访问到我们的tomcat容器。下面这段是官网对于host模式的定义: If you use the host network...
docker容器技术应用-docker-compose运行Elasticsearch
yx9o
03-30 1266
最近在学习Elasticsearch，首先是通过docker运行es单节点，然后通过curl发送http请求来实现增删改查等操作。 近期看了阮一鸣老师讲的《Elasticsearch核心技术与实战》中，通过docker-compose来运行Elasticsearch集群+kibana+cerebro。 es：用来存储、索引文档 kibana：搜索文档、目前主要用到Dev Tools开发工具来...
docker 安装elasticsearch和kibana安装
最新发布
05-10
Elasticsearch和Kibana都是常用于日志和数据分析的工具，它们可以轻松地通过Docker容器来安装和部署。 安装Elasticsearch和Kibana的步骤如下： 1. 首先安装Docker和Docker Compose，具体方法可以参考官方文档。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值