05.DockerCompose部署Elasticsearch

于 2024-09-12 10:17:55 发布
阅读量323 收藏 4
点赞数 6
分类专栏： DockerCompose 文章标签： elasticsearch 大数据 docker compose docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32060101/article/details/142167082
版权

目录

转载请注明出处

参考链接

部署

系统设置

# 若要查看设置的当前值，请运行：vm.max_map_count
grep vm.max_map_count /etc/sysctl.conf
# vm.max_map_count=262144

# 临时修改
sysctl -w vm.max_map_count=262144

# 永久修改
# vim /etc/sysctl.conf
# 添加以下内容
vm.max_map_count=262144
# 生效
sysctl -p

获取镜像

# docker pull docker.io/elasticsearch:7.10.1

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.10.2

单机部署单节点(bridge模式)

创建 docker-compose.yml 文件内容如下

version: "3"

services:
  easticsearch:
    container_name: elasticsearch-7.10.2
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    restart: on-failure:3
    ports:
      - 10200:9200
      - 10300:9300
    environment:
      - TZ=Asia/Shanghai
      - discovery.type=single-node
      # 设置密码
      - ELASTIC_PASSWORD=123456
      # 不加该参数， 需要手动给持久化的目录赋权限
      - TAKE_FILE_OWNERSHIP=true
      # 分片数量设置
      - cluster.max_shards_per_node=3000
      - xpack.security.enabled=true
      - path.repo=/usr/share/elasticsearch/backup
    volumes:
      - ./elasticsearch/logs:/usr/share/elasticsearch/logs
      - ./elasticsearch/backup:/usr/share/elasticsearch/backup
      - ./elasticsearch/data:/usr/share/elasticsearch/data
      # - easticsearch_data:/usr/share/elasticsearch/data
    healthcheck:
      # test: curl --cacert $CERTS_DIR/ca/ca.crt -s https://localhost:9200 >/dev/null; if [[ $$? == 52 ]]; then echo 0; else echo 1; fi
      test: ["CMD-SHELL", "nc -vz 127.0.0.1 9200 || exit 1"]
      start_period: 20s
      interval: 10s
      timeout: 30s
      retries: 5

# volumes:
#  easticsearch_data:
#    driver: local

# 部署
docker-compose up -d
# 卸载
docker-compose down
# 删除数据
# docker volume rm easticsearch_data

单机部署单节点(host模式)

创建 docker-compose.yml 文件内容如下

version: "3"

services:
  easticsearch:
    container_name: elasticsearch-7.10.2
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    restart: on-failure:3
    environment:
      - TZ=Asia/Shanghai
      - discovery.type=single-node
      # 设置密码
      - ELASTIC_PASSWORD=123456
      # 不加该参数， 需要手动给持久化的目录赋权限
      - TAKE_FILE_OWNERSHIP=true
      # 分片数量设置
      - cluster.max_shards_per_node=3000
      - xpack.security.enabled=true
      - path.repo=/usr/share/elasticsearch/backup
    volumes:
      - ./elasticsearch/logs:/usr/share/elasticsearch/logs
      - ./elasticsearch/backup:/usr/share/elasticsearch/backup
      - ./elasticsearch/data:/usr/share/elasticsearch/data
      # - easticsearch_data:/usr/share/elasticsearch/data
    network_mode: host

# volumes:
#  easticsearch_data:
#    driver: local

# 部署
docker-compose up -d
# 卸载
docker-compose down
# 删除数据(如果使用了声明式的volumes, 需要删除)
# docker volume rm easticsearch_data

单机部署集群(bridge模式)

创建 docker-compose.yml 文件内容如下
以下示例中未使用相同的证书, 如果是生产环境部署, 需要生成证书, 并分发到各个节点

version: '3'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch_01
    ports:
      - 10200:9200
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      # - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - elasticsearch_data_01:/usr/share/elasticsearch/data
    networks:
      - elastic



  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch_02
    ports:
      - 20200:9200
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      # - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - elasticsearch_data_02:/usr/share/elasticsearch/data
    networks:
      - elastic



  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch_03
    ports:
      - 30200:9200
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      # - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - elasticsearch_data_03:/usr/share/elasticsearch/data
    networks:
      - elastic



volumes:
  easticsearch_data_01:
    driver: local
  easticsearch_data_02:
    driver: local
  easticsearch_data_03:
    driver: local



networks:
  elastic:
    driver: bridge

# 部署
docker-compose up -d
# 卸载
docker-compose down
# 删除数据
# docker volume rm easticsearch_data_01
# docker volume rm easticsearch_data_02
# docker volume rm easticsearch_data_03

集群部署模版(host模式)

创建 docker-compose.yml 文件内容如下
以下文件仅为一个模版, 需要将以下文件在多个节点部署
以下示例中未使用相同的证书, 如果是生产环境部署, 需要生成证书, 并分发到各个节点

# version: "3"

services:
  elasticsearch:
    container_name: elasticsearch
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    restart: on-failure:3
    privileged: true
    environment:
      - TZ=Asia/Shanghai
      - node.name=10.100.10.10
      - cluster.name=cluster
      #- discovery.type=
      - discovery.seed_hosts=10.100.10.11,10.100.10.12
      - cluster.initial_master_nodes=10.100.10.10,10.100.10.11,10.100.10.12
      - ELASTIC_PASSWORD=123456
      - xpack.security.enabled=true
      - path.repo=/usr/share/elasticsearch/backup
      - TAKE_FILE_OWNERSHIP=true
      #- bootstrap.memory_lock=true
      #- xpack.security.transport.ssl.enabled=true
    network_mode: host
    volumes:
      - ./elasticsearch/data:/usr/share/elasticsearch/data
      - ./elasticsearch/backup:/usr/share/elasticsearch/backup
      - ./elasticsearch:/usr/share/elasticsearch/logs
    healthcheck:
      test: ["CMD-SHELL", "nc -vz 127.0.0.1 9200 || exit 1"]
      start_period: 20s
      interval: 10s
      timeout: 10s
      retries: 5

# 部署
docker-compose up -d
# 卸载
docker-compose down

使用自签CA证书

集群部署的时候, 涉及到多个节点通讯, 因此每个节点需要使用相同的ca证书, 可以自行生成CA证书, 然后添加相关的环境变量,
参考示例如下

services:
  elasticsearch:
    container_name: elasticsearch
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    restart: on-failure:5
    privileged: true
    environment:
      - TZ=Asia/Shanghai
      - node.name=10.100.10.10
      - cluster.namecluster-node-01
      # - discovery.type=single-node
      - discovery.seed_hosts=10.100.10.11,10.100.10.12
      - cluster.initial_master_nodes=10.100.10.10,10.100.10.11,10.100.10.12
      - cluster.max_shards_per_node=3000
      - ELASTIC_PASSWORD=123456
      - path.repo=/usr/share/elasticsearch/backup
      - TAKE_FILE_OWNERSHIP=true
      - xpack.security.enabled=true
      # 自定义CA证书配置
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.keystore.type=PKCS12
      - xpack.security.transport.ssl.verification_mode=certificate
      - xpack.security.transport.ssl.keystore.path=elastic-certificates.p12
      - xpack.security.transport.ssl.truststore.path=elastic-certificates.p12
      - xpack.security.transport.ssl.truststore.type=PKCS12
      #- bootstrap.memory_lock=true
      #- xpack.security.transport.ssl.keystore.password=
      #- xpack.security.transport.ssl.truststore.password=
      #- xpack.security.audit.enabled=true
    network_mode: host
    mem_limit: 16g
    volumes:
      - ./config/elastic-log4j2.properties:/usr/share/elasticsearch/config/log4j2.properties
      # 挂载自定义的证书
      - ./config/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12
      - ./elasticsearch/data:/usr/share/elasticsearch/data
      - ./elasticsearch/backup:/usr/share/elasticsearch/backup
      - ./elasticsearch:/usr/share/elasticsearch/logs
    healthcheck:
      test: ["CMD-SHELL", "nc -vz 127.0.0.1 9200 || exit 1"]
      start_period: 60s
      interval: 10s
      timeout: 10s
      retries: 30
Felix_XY
关注
  • 6
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 集群Docker Compose部署
weixin_46900841的博客
07-30 542
Elasticsearch 集群Docker Compose部署 官方网站： https://www.elastic.co/guide/en/elasticsearch/reference/7.6/index.html 本教程适用于三台不同服务器的 Elasticsearch 集群，使用 Docker Compose 方式搭建 环境信息 IP地址 访问端口 集群节点间通讯端口 节点描述 10.1.10.241 9201 9301
如何通过docker-compose部署ES集群
gaohuanjie的专栏
07-11 2020
Linux系统搭建ES集群的方式有很多种，其中通过docker-compose进行安装最为方便......
使用 Docker Compose 部署 Elasticsearch + Kibana
持续学习，稳中求进，努力输出高质量内容， 所有文章都会维护更新。
06-07 959
本篇文章主要介绍了使用 Docker Compse 部署 Elasticsearch + Kibana，并整合到 Spring Boot 项目中的详细步骤。Elasticsearch + Kibana 版本: 7.17.0（7 的最新版本）；Spring Boot 版本：2.7.5。
docker-compose 部署 elasticsearch 8.13.3
eif88的博客
05-09 264
【代码】docker-compose 部署 elasticsearch 8.13.3。
使用Docker Compose运行Elasticsearch
lw_jack的博客
06-20 623
使用Docker Compose运行Elasticsearch可以帮助你快速搭建和管理Elasticsearch服务。
docker-compose部署elasticsearch
修理男爵的博客
09-13 6783
参考的官方文档链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html 下载镜像 docker pullelasticsearch:7.14.1 编写docker-compose.yml version: '3' services: es01: image: elasticsearch:7.14.1 environment: - node.name=es01 -.
jaeger-elasticsearch-compose:Docker-compose配置，可将Jaeger用作Elasticsearch作为存储来快速部署
05-15
综上所述，"jaeger-elasticsearch-compose" 是一个用于快速部署Jaeger，并使用Elasticsearch存储追踪数据的Docker-compose解决方案。通过这个项目，开发者可以轻松搭建起一个分布式的追踪系统，以便监控和调试微服务...
centos7使用docker-compose安装es(包括IK分词器扩展)+kibana
04-13
3、docker和docker-compose安装要提前安装完成 4、将下载内容解压一个目录 5、运行 docker-compose up # 此命令环境会在终端前台运行 docker-compose up -d # 加上-d会放入后台进行环境的启动 如有问题，欢迎进行...
docker-compose部署elasticsearch集群
11-23
2. 本文的elasticsearch集群使用docker进行部署，开发学习环境中可以这么使用，在生产环境中还是不要这样部署，熟悉elasticsearch原理的就会清楚，单机部署elasticsearch集群基本无法起到什么作用。
Elasticsearch基础（七）：Logstash如何开启死信队列
Lansonli（蓝深李）的博客
09-11 542
在 Logstash 中，死信队列（Dead Letter Queue, DLQ）是用于处理无法写入 Elasticsearch 的失败事件的功能。当 Logstash 无法将某些事件正确地导入 Elasticsearch（例如因为字段映射问题、数据格式问题等），这些事件可以被捕获并存储到死信队列中，以便后续排查和处理。Logstash 会将死信队列存储为特定格式的文件。通过启用死信队列，可以捕获这些失败事件并深入分析问题所在，找到未成功导入 Elasticsearch 的数据。
【读论文】End-to-end reproducible AI pipelines in radiology using the cloud
最新发布
verse_armour的博客
09-11 618
评价指标：area under the receiver operating characteristic curve（AUC）、receiver operating characteristic (ROC)、双侧Mann-Whitney U检验、DeLong检验配对AUC曲线、Kaplan-Meier（KM）、Cox比例风险（PH）建模。数据集更新：同一队列的更新数据集（2020年底更新的临床和随访数据，clinical and follow-up data）任务：分析CT图像上的肿瘤病变来预测结果。
ElasticSearch底层原理解析
qq_56438516的博客
09-11 298
Elasticsearch通过其分布式架构，提供了一个强大、灵活且可扩展的搜索解决方案。它的设计哲学是简单性和易用性，同时隐藏了底层Lucene的复杂性。通过分片和副本机制，ES能够处理大规模数据集，并提供快速、准确的搜索结果。
ElasticSearch的DSL查询⑤（ES数据聚合、DSL语法数据聚合、RestClient数据聚合）
weixin_57558097的博客
09-08 1098
DSL数据聚合查询，JavaApiRestClient实现绝合查询、Bucket聚合、带条件聚合、Metic聚合插，分组查询，最大值，平均值、最小值，求和，aggs代表聚合，与query同级，此时query的作用是？限定聚合的的文档范围聚合必须的三要素：聚合名称聚合类型聚合字段聚合可配置属性有：size：指定聚合结果数量order：指定聚合结果排序方式field：指定聚合字段。
大数据-129 - Flink CEP 详解 Complex Event Processing - 复杂事件处理
永远好奇，无限进步！
09-11 1613
Flink CEP（Complex Event Processing）是Apache Flink的一个组件，用于处理复杂事件流。它允许用户基于流数据定义模式，并检测符合这些模式的事件序列。Flink CEP适用于实时流数据处理中的模式匹配任务，如欺诈检测、设备监控、网络入侵检测等。
Elasticsearch 使用误区之五——单次请求获取大量数据
铭毅天下Elasticsearch
09-09 885
在使用 Elasticsearch 进行数据查询时，很多开发者、读者会遇到这样的问题：一次性检索大量数据，导致查询速度缓慢、网络延迟增加，甚至影响系统的整体性能。单次获取过多数据不仅增加了网络传输的负担，还会使查询过程复杂化，降低响应速度。本文将深入探讨该误区的常见场景、错误原因以及优化方案，帮助大家有效避免这个常见的性能陷阱。1. 误区背景：单次获取大量数据许多开发者在使用 Elasticsea...
git：认识git和基本操作（1）
记录一名程序员的成长历程
09-07 1297
本文详细介绍了git的概念和基本操作
c# mainwindows
逍遥游的博客
09-11 729
private void zWCAD二开ToolStripMenuItem_Click(object sender, EventArgs e)////// 指定背景色，这里使用透明色作为示例。// 主窗体大小改变时，子窗体会自动调整大小。//// 指定前景色，这里使用蓝色作为示例。// // 主窗体大小改变时的逻辑。//// 等待一段时间，以便按键被处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值