Docker部署ES集群(图文并茂)

最新推荐文章于 2024-08-18 17:28:40 发布
最新推荐文章于 2024-08-18 17:28:40 发布
阅读量5.3k 收藏 40
点赞数 5
分类专栏： Docker部署 服务部署 文章标签： elasticsearch 负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jamel_LiToo/article/details/110070741
版权
本文档详细介绍了如何在Docker环境下部署Elasticsearch集群，包括配置文件初始化、JVM线程数调整、服务部署、IK分词器安装以及使用Nginx进行负载均衡。通过设置多个数据节点和配置集群通信，确保了ES集群的稳定运行，并安装IK分词器以支持中文分词。最后，通过Nginx配置实现对ES集群的负载均衡，提高服务可用性。
摘要由CSDN通过智能技术生成

文章目录

前置环境

docker 19.03.13

部署步骤

初始化es配置文件

    -- 拉取es镜像
    docker pull elasticsearch:7.2.0
    --创建挂载目录[data:存放索引数据，plugins:存放es插件]
    mkdir -p  /home/jamelli/software/elasticsearch
    mkdir -p  /home/jamelli/software/elasticsearch/config/data1
    mkdir -p  /home/jamelli/software/elasticsearch/config/data2
    mkdir -p  /home/jamelli/software/elasticsearch/config/data3
    mkdir -p  /home/jamelli/software/elasticsearch/config/plugins1
    mkdir -p  /home/jamelli/software/elasticsearch/config/plugins2
    mkdir -p  /home/jamelli/software/elasticsearch/config/plugins3
    
    -- 设置执行权限
    chmod 777 /home/jamelli/software/elasticsearch/config/data1 
    chmod 777 /home/jamelli/software/elasticsearch/config/data2 
    chmod 777 /home/jamelli/software/elasticsearch/config/data3 
    
    --data1/data2/data3 分别创建es.yml [network.publish_host:填写服务器ip]
    vim /home/jamelli/software/elasticsearch/config/es1.yml
    ->>
        cluster.name: elasticsearch-cluster 
        cluster.initial_master_nodes : es-node1
        node.name: es-node1 
        network.bind_host: 0.0.0.0 
        network.publish_host: 192.168.100.18 
        http.port: 9201 
        transport.tcp.port: 9301
        http.cors.enabled: true 
        http.cors.allow-origin: "*" 
        node.master: true 
        node.data: true  
        discovery.zen.ping.unicast.hosts:  ["192.168.100.18:9301","192.168.100.18:9302","192.168.100.18:9303"] 
       
    vim /home/jamelli/software/elasticsearch/config/es2.yml
    ->>
        cluster.name: elasticsearch-cluster 
        node.name: es-node2
        network.bind_host: 0.0.0.0 
        network.publish_host: 192.168.100.18 
        http.port: 9201 
        transport.tcp.port: 9301 
        http.cors.enabled: true 
        http.cors.allow-origin: "*" 
        node.master: true 
        node.data: true  
        discovery.zen.ping.unicast.hosts:  ["192.168.100.18:9301","192.168.100.18:9302","192.168.100.18:9303"] 

        
    vim /home/jamelli/software/elasticsearch/config/es3.yml
    ->>
        cluster.name: elasticsearch-cluster 
        node.name: es-node3
        network.bind_host: 0.0.0.0 
        network.publish_host: 192.168.100.18 
        http.port: 9202 
        transport.tcp.port: 9302
        http.cors.enabled: true 
        http.cors.allow-origin: "*" 
        node.master: true 
        node.data: true  
        discovery.zen.ping.unicast.hosts:  ["192.168.100.18:9301","192.168.100.18:9302","192.168.100.18:9303"]

调高JVM线程数限制数量

vim /etc/sysctl.conf
->>
	vm.max_map_count=262144 
	
# 刷新配置
sysctl -p

服务部署

es集群部署
	# 服务1
     docker run -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" \
        -d -p 9201:9201 -p 9301:9301 \
        -e ES_MIN_MEM=128m \
        -e ES_MAX_MEM=4096m \
        -v /home/jamelli/software/elasticsearch/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
        -v /home/jamelli/software/elasticsearch/config/data1/:/usr/share/elasticsearch/data/ \
        -v /home/jamelli/software/elasticsearch/config/plugins1/:/usr/share/elasticsearch/plugins  \
        --restart=always \
        --name ES01 \
        elasticsearch:7.2.0
    # 服务2
     docker run -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" \
        -d -p 9202:9202 -p 9302:9302 \
        -e ES_MIN_MEM=128m \
        -e ES_MAX_MEM=4096m \
        -v /home/jamelli/software/elasticsearch/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
        -v /home/jamelli/software/elasticsearch/config/data2/:/usr/share/elasticsearch/data/ \
        -v /home/jamelli/software/elasticsearch/config/plugins2/:/usr/share/elasticsearch/plugins  \
        --restart=always \
        --name ES02 \
        elasticsearch:7.2.0
     # 服务3
     docker run -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" \
        -d -p 9203:9203 -p 9303:9303 \
        -e ES_MIN_MEM=128m \
        -e ES_MAX_MEM=4096m \
        -v /home/jamelli/software/elasticsearch/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
        -v /home/jamelli/software/elasticsearch/config/data3/:/usr/share/elasticsearch/data/ \
        -v /home/jamelli/software/elasticsearch/config/plugins1/:/usr/share/elasticsearch/plugins  \
        --restart=always \
        --name ES03 \
        elasticsearch:7.2.0
        
	# 防火墙设置	
    firewall-cmd --add-port=9301/tcp
    firewall-cmd --add-port=9302/tcp 
    firewall-cmd --add-port=9303/tcp
    firewall-cmd --add-port=9200/tcp
    firewall-cmd --add-port=9201/tcp 
    firewall-cmd --add-port=9202/tcp 
    firewall-cmd --add-port=9203/tcp
    firewall-cmd --complete-reload

确认集群配置

curl http://127.0.0.1:9201/_cat/nodes?pretty

在这里插入图片描述

IK分词器安装
  # 进入容器
    docker exec -it ES01 bash 
        # 在线安装
        elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.2.0/elasticsearch-analysis-ik-7.2.0.zip
    
    # 复制es1安装的插件到es2和es3
    cp -rf  /home/jamelli/software/elasticsearch/config/plugins1/analysis-ik /home/creationpoint/software/elasticsearch/config/plugins2/
    cp -rf  /home/jamelli/software/elasticsearch/config/plugins1/analysis-ik /home/creationpoint/software/elasticsearch/config/plugins3/
    
    # 重启es
    docker restart ES01 
    docker restart ES02 ES03
esUI部署

部署elasticsearch-head 便于管理es数据

docker run -d \
    --name=elasticsearch-head \
    -p 9100:9100 \
    -m 512m \
    --memory-swap=1024m \
    mobz/elasticsearch-head:5

确认效果
在这里插入图片描述

ES负载均衡

nginx配置es负载均衡

修改nginx配置文件

#修改nginx配置文件
vim /home/jamelli/software/nginx/conf.d/default.conf
->>
   upstream es{
		least_conn;    #把请求转发给连接数较少的后端服务器
		server 192.168.100.18:9201;#ES对应的ip:port
        server 192.168.100.18:9202;
        server 192.168.100.18:9203;
    }
    
    server {
        listen       9200;
        server_name  localhost;
        underscores_in_headers on;
    
        location / {
            proxy_set_header   Host $host:$server_port;
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://es;
        }
    }
# 重新加载nginx使生效(二选一)
docker restart nginx 
nginx -s reload

此刻默认访问服务器的9200端口会负载均衡到es集群上，测试一下。看下图可以看到已经可以轮询es了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

西行9527
关注
专栏目录
docker部署ES集群
qq_39994098的博客
06-06 2115
docker部署ES集群
docker部署es集群
wuxingge的博客
04-17 784
参考文档。
基于docker部署es集群
qq_43195454的博客
06-27 1419
亲手实践es集群 基于docker部署
6.1 Elasticsearch（一）Docker搭建ES集群
蟑螂恶霸的博客
10-12 2188
Elasticsearch是一个分布式搜索引擎服务器，搜索引擎有自己专门的搜索引擎服务器，而不是依靠数据库来做，我们搜索内容时，如果使用数据库来做，则需要模糊查询数据库中所有的数据，一条一条的去顺序比对，这种搜索效率是极低的；我们这里介绍Elasticsearch搜索引擎服务器，使用时需要将数据库中的数据同步到Elasticsearch服务器中，通过搜索引擎服务器去做搜索查询，因为其只支持搜索查询，专职于搜索服务的支持，其效率很高；后面我们要使用多个端口，为了避免繁琐的开放端口操作，我们关掉防火墙。
Docker部署Elasticsearch集群
01-07
1、配置环境参数 cat /etc/hosts 172.16.1.1 test-es01 172.16.1.2 test-es02 172.16.1.3 test-es03 # grep vm.max_map_count /...mkdir -p /data/server/elasticsearch/{esdata01,esdata02,esdata03} chown 1000.
docker安装Elasticsearch7.6集群并设置密码
01-09
Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些...
使用docker快速部署Elasticsearch集群的方法
09-29
本篇文章将详细介绍如何使用Docker和docker-compose来快速部署Elasticsearch集群，内容涵盖从基础的准备工作到集群编排服务的创建与配置。 首先，准备工作中提到的Docker环境的搭建，为Elasticsearch集群的容器化...
Docker部署Mysql集群的实现
01-09
　mysql 集群方案介绍，建议使用pxc，因为弱一致性会有问题，比如说a节点数据库显示我购买成功，b 节点数据库显示没有成功，这就麻烦了，pxc 方案是在全部节点都写入成功之后才会告诉你成功，是可读可写双向同步的，...
docker 部署 ES集群
最新发布
阿额火热的博客
08-18 965
进入es容器，编辑elasticsearch.yml文件。映射文件夹没有权限，通过chmod授予文件夹权限即可。：默认的发现设置不适合生产使用，需要配置至少一个。若镜像拉取不到可以使用腾讯云的docker镜像源。的值太低，需要增加到至少 262144。docker ps 查看启动状态。将证书拷贝到另外两个服务的容器中。
docker部署es
qq_45541846的博客
05-20 4686
docker部署es
使用Docker搭建ES集群
qq_43156837的博客
09-01 1094
Docker部署ES集群
基于docker搭建es集群
mingshen3的博客
09-25 1335
基于docker搭建es集群
docker 部署 es
arvinChen的博客
09-21 664
es
Docker 部署 ElasticSearch 集群
KawYang的博客
12-16 850
可以再容器运行时指定环境变量的方式增加配置，
docker 部署 ES
m0_64344940的博客
12-17 2921
docker 部署 ES
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值