ES-部署（docker-compose）_docker部署es，2024年最新大数据开发程序员春招三面蚂蚁金服

已于 2024-04-15 03:10:35 修改
阅读量967 收藏 19
点赞数 24
分类专栏： 2024年程序员学习 文章标签： 大数据 elasticsearch docker
于 2024-04-15 03:10:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84160310/article/details/137761032
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

	- 检查，如果返回值为`vm.max_map_count = 262144`证明修改成功。
```
 sysctl vm.max_map_count

```

	- 句柄就是用户可以同时打开的文件句柄（包括文件、套接字等）的数量。
+ 修改最大线程数
```
vi /etc/security/limits.conf

```
 
```
# 添加以下内容
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096

```

	- `limits.conf`用于设置系统资源限制的配置文件。它可以帮助管理员限制用户或进程能够使用的系统资源量。
		* 每一行表示对一个用户或用户组的限制，格式为`<domain> <type> <item> <value>`。其中domain：限制的对象，用户/用户组（@groupname）/所有用户(\*)；type表示限制类型，如soft（软限制）、hard（硬限制）和 -（不设置限制）等；item表示限制的资源；value表示限制的具体数量。
		* 软限制是超过会提示，硬限制是超过会阻塞等待。
		* 第一行和第二行表示：限制系统中所有用户可以最多打开的文件数为65536。
		* 第三行和第四行表示：限制所有用户可以最多启动的进程数为4096。
+ 重新启动服务
```
reboot

```
  • 创建挂载目录
    • 创建ES节点配置目录
mkdir -p /etc/es/elasticsearch/node-{1..3}/{config,plugins}


+ 创建ES节点数据目录

mkdir -p /home/es/elasticsearch/node-{1..3}/{data,log}


+ 创建kibana配置目录

mkdir -p /etc/es/kibana/config


+ 目录授权

chmod 777 /etc/es/elasticsearch/node-{1..3}/{config,plugins}


chmod 777 /home/es/elasticsearch/node-{1..3}/{data,log}


chmod 777 /etc/es/kibana/config

  • 下载分词器

    mkdir -p /home/download/es/ik/ && cd /home/download/es/ik/
    • 上传
    • 解压
    unzip elasticsearch-analysis-ik-7.17.5.zip
    • 删除zip压缩包，并返回上级
    rm -rf elasticsearch-analysis-ik-7.17.5.zip && cd ../
    • 复制到对应目录
    cp -R ik/ /etc/es/elasticsearch/node-1/plugins/


    cp -R ik/ /etc/es/elasticsearch/node-2/plugins/


    cp -R ik/ /etc/es/elasticsearch/node-3/plugins/

  • 编写配置文件

    • node-1
    vi /etc/es/elasticsearch/node-1/config/elasticsearch.yml 


    #集群名称 
cluster.name: elastic
#当前该节点的名称
node.name: node-1
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory\_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
# 寻找集群中的主节点，默认值为127.0.0.1:9300，也就是自己。如果要发现已存在的群集需要填写对应集群的服务节点信息，如果单节点可以忽略。es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，建议把所有的节点都写上。
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive\_requires\_name: true
#禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
#配置允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "\*"
    • node-2
    vi /etc/es/elasticsearch/node-2/config/elasticsearch.yml 


    #集群名称 
cluster.name: elastic
#当前该节点的名称
node.name: node-2
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory\_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#寻找集群中的主节点，默认值为127.0.0.1:9300，也就是自己。如果要发现已存在的群集需要填写对应集群的服务节点信息，如果单节点可以忽略。es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，建议把所有的节点都写上。
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive\_requires\_name: true
#禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
#配置允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "\*"
    • node-3
    vi /etc/es/elasticsearch/node-3/config/elasticsearch.yml 


    #集群名称 
cluster.name: elastic
#当前该节点的名称
node.name: node-3
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory\_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#寻找集群中的主节点，默认值为127.0.0.1:9300，也就是自己。如果要发现已存在的群集需要填写对应集群的服务节点信息，如果单节点可以忽略。es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，建议把所有的节点都写上。
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive\_requires\_name: true
#禁用安全配置，否则查询的时候会提示警告
xpack.security.enabled: false
#配置允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "\*"
    • kibana
    vi /etc/es/kibana/config/kibana.yml


    server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://node-1:9200","http://node-2:9200","http://node-3:9200"]

#下面两项，需要开启RBAC时需要打开配合es使用
#elasticsearch.username: "user"
#elasticsearch.password: "pass"
# 设置中文
i18n.locale: "zh-CN"

  • 创建docker-compose文件

    • 创建目录并打开
    mkdir -p /opt/docker/es && vi /opt/docker/es/docker-compose.yaml

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

& vi /opt/docker/es/docker-compose.yaml

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-BV2G1Rju-1713121758148)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84160310
关注
  • 24
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-compose部署es集群
变成习惯
01-21 6261
通过docker-compose部署es集群。es最新版本：7.5.1 mkdir -p /home/elfk/elasticsearch/config mkdir /home/elfk/elasticsearch/{data1,data2,data3} cd /home/elfk echo 'ELK_VERSION=7.5.1' > .env tree . . ├── docke...
ES(Elasticsearch)的docker安装部署教程
qq_33034733的博客
05-24 1万+
需要手动将docker中的es四个目录同步到宿主机上。1.1 拉取docker镜像。1.2 创建es挂载目录。1.4 桥接网络节点配置。3、logstash部署。1.3 开放防火墙端口。1.5 容器实例启动。2、Kibana部署。
最新ES(Elasticsearch)的docker安装部署教程_docker 安装es，科学技术协会面试
最新发布
2401_84183726的博客
05-08 444
注：上图2年之前表示该elasticsearch的7.10.1镜像版本是2年前制作的。
ES-部署（docker-compose）
tianqiuhao的博客
04-25 2628
使用docker-compose部署elasticsearch 3节点集群+1个kibana服务。
Docker上安装部署Elasticsearch(ES)详细教程
热门推荐
djdjfjf1的博客
12-04 1万+
Docker部署ES,Kibana和IK分词器
docker部署es
qq_45541846的博客
05-20 4589
docker部署es
【Hive】（二）Hive 安装部署_tar –zxvf apache-hive-1
2401_84182097的博客
04-17 340
（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/soft/目录下面。（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive。在hive110目录下新建一个文件夹warehouse。（5）进入conf文件目录下，修改。
jaeger-elasticsearch-compose:Docker-compose配置，可将Jaeger用作Elasticsearch作为存储来快速部署
05-15
综上所述，"jaeger-elasticsearch-compose" 是一个用于快速部署Jaeger，并使用Elasticsearch存储追踪数据的Docker-compose解决方案。通过这个项目，开发者可以轻松搭建起一个分布式的追踪系统，以便监控和调试微服务...
docker-compose-linux-x86_64
09-21
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行...
docker-compose-Darwin-x86_64.tgz
03-08
【标题】"docker-compose-Darwin-x86_64.tgz" 是一个针对苹果Darwin（即Mac OS）平台的x86_64架构的Docker Compose安装包。Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。它允许通过YAML文件来...
bitnami-docker-elasticsearch-exporter:用于Elasticsearch-exporter的Bitnami Docker映像
03-10
$ docker run --name elasticsearch-exporter bitnami/elasticsearch-exporter:latest 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源代码变化，并使用我们的自动化系统及时发布该图像的新版本。 对于...
docker-compose部署xxl-job方案.rar
05-20
docker-compose部署xxl-job方案
docker容器中快速部署ES集群的详细操作步骤（6个节点）
mischen520的博客
01-26 6516
ElasticSearch集群 1.集群原理 ElasticSearch是天生支持集群的，他不需要依赖其他的服务发现和注册的组件，如zookeeper这些，因为他内置了一个名字叫ZenDiscovery的模块，是ElasticSearch自己实现的一套用于节点发现和选主等功能的组件，所以ElasticSearch做起集群来非常简单，不需要太多额外的配置和安装额外的第三方组件。 1、单节点 A.一个运行中的ElasticSearch实例称为一个节点，而集群是由一个或者多个拥有相同的cluster.name配置
docker-compose部署es及es数据迁移
makabaka1234的博客
01-17 685
基于docker-compose快速部署es及kibana,es内索引及数据迁移
基于Docker部署ES
z5591650的博客
07-17 261
基于Docker部署ES
docker-compose安装es
u013078871的博客
08-29 4939
1.docker-compose.yml version: '3.9' services: elasticsearch: image: elasticsearch:7.13.3 container_name: elasticsearch privileged: true environment: - "cluster.name=elasticsearch" #设置集群名称为elasticsearch - "discovery.type=single
ES(Elasticsearch)的docker安装部署教程_docker 安装es
2401_84182318的博客
04-27 363
ES集群安装要求桥接网络和一定的vm配置，执行./network.sh。给master.sh加执行权限：chmod u+x master.sh。给slave.sh加执行权限：chmod u+x slave.sh。然后执行./slave.sh 直接创建3个从节点的实例。执行./master.sh 直接创建2个主节点，
Elastic Search 安装部署最全教程（Docker）
忆水思寒的博客
07-28 3999
因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。
docker-compose 部署elasticsearch-head
07-27
你可以使用以下步骤通过 Docker Compose 部署 Elasticsearch Head： 1. 首先，创建一个名为 `docker-compose.yml` 的文件，并在其中添加以下内容： ```yaml version: '3' services: elasticsearch-head: image: mobz/elasticsearch-head:5 ports: - 9100:9100 environment: - "ES_SERVER=http://elasticsearch:9200" networks: - es-network elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.1 environment: - "discovery.type=single-node" networks: - es-network networks: es-network: ``` 2. 保存并关闭 `docker-compose.yml` 文件。 3. 打开终端，并导航到包含 `docker-compose.yml` 文件的目录。 4. 运行以下命令启动容器： ```shell docker-compose up -d ``` 5. 等待一段时间，直到容器成功启动。你可以通过运行以下命令检查容器的状态： ```shell docker-compose ps ``` 6. 如果一切顺利，你应该能够通过浏览器访问 Elasticsearch Head。在浏览器中输入 `http://localhost:9100`，应该能够看到 Elasticsearch Head 的界面。 注意：在上述示例中，我们使用了 Elasticsearch 7.14.1 版本的官方 Docker 镜像和 Elasticsearch Head 的最新版本镜像。你可以根据自己的需求更改这些版本。 希望这能帮到你！如有任何问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值