Elasticsearch实战-ES集群-搭建

最新推荐文章于 2024-08-26 12:12:47 发布
最新推荐文章于 2024-08-26 12:12:47 发布
阅读量451 收藏
点赞数
分类专栏： 大数据 文章标签： elasticsearch docker 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Blueeyedboy521/article/details/124583801
版权

一、ES集群结构

在这里插入图片描述

二、部署

通过docker-compose部署es集群。es最新版本：7.5.1

1、准备

mkdir -p /usr/local/es-group/elasticsearch/config

mkdir /usr/local/es-group/elasticsearch/{data1,data2,data3}
# 进入目录
cd /usr/local/es-group
# 把版本号设置到环境变量
echo 'ELK_VERSION=7.5.1' > .env

查看目录结构

tree .

.
├── docker-compose.yml
└── elasticsearch
    ├── config
    │   └── elasticsearch.yml
    ├── data1
    ├── data2
    ├── data3
    └── Dockerfile

5 directories, 3 files

2、修改Dockerfile

vim /usr/local/es-group/elasticsearch/Dockerfile

修改内容如下：

ARG ELK_VERSION=7.5.1

# https://github.com/elastic/elasticsearch-docker
# FROM docker.elastic.co/elasticsearch/elasticsearch:${ELK_VERSION}
FROM elasticsearch:${ELK_VERSION}
# Add your elasticsearch plugins setup here
# Example: RUN elasticsearch-plugin install analysis-icu

3、修改elasticsearch.yml

vim /usr/local/es-group/elasticsearch/config/elasticsearch.yml

内容如下：

---
## Default Elasticsearch configuration from Elasticsearch base image.
## https://github.com/elastic/elasticsearch/blob/master/distribution/docker/src/docker/config/elasticsearch.yml
#
cluster.name: "es-docker-cluster"
network.host: 0.0.0.0

## X-Pack settings
## see https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-xpack.html
#
xpack.license.self_generated.type: trial                                #trial为试用版，一个月期限，可更改为basic版本
xpack.security.enabled: true
xpack.monitoring.collection.enabled: true

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

4、新建docker-compose.yml

version: '3.7'
services:
  es01:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    container_name: es01
    volumes:
      - type: bind
        source: ./elasticsearch/config/elasticsearch.yml
        target: /usr/share/elasticsearch/config/elasticsearch.yml
        read_only: true
      - type: volume
        source: data01
        target: /usr/share/elasticsearch/data
    ports:
      - 9200:9200
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - elastic
  es02:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    container_name: es02
    volumes:
      - type: bind
        source: ./elasticsearch/config/elasticsearch.yml
        target: /usr/share/elasticsearch/config/elasticsearch.yml
        read_only: true
      - type: volume
        source: data02
        target: /usr/share/elasticsearch/data
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - elastic
  es03:
    build:
      context: elasticsearch/
      args:
        ELK_VERSION: $ELK_VERSION
    container_name: es03
    volumes:
      - type: bind
        source: ./elasticsearch/config/elasticsearch.yml
        target: /usr/share/elasticsearch/config/elasticsearch.yml
        read_only: true
      - type: volume
        source: data03
        target: /usr/share/elasticsearch/data
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - elastic

volumes:
  data01:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: /usr/local/es-group/elasticsearch/data1
      
  data02:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: /usr/local/es-group/elasticsearch/data2
      
  data03:
    driver: local
    driver_opts:
      type: none
      o: bind
      device: /usr/local/es-group/elasticsearch/data3

networks:
  elastic:
    driver: bridge

还可以这样定义：

version: '3.7'
services:
  es01:
    image: elasticsearch:7.5.1
    container_name: es01
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    networks:
      - elastic
  es02:
    image: elasticsearch:7.5.1
    container_name: es02
    volumes:
      - data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9200
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    networks:
      - elastic
  es03:
    image: elasticsearch:7.5.1
    container_name: es03
    volumes:
      - data03:/usr/share/elasticsearch/data
    ports:
      - 9202:9200
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    networks:
      - elastic

volumes:
  data01:
    driver: local
      
  data02:
    driver: local
      
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

5、es运行需要修改linux系统权限

方法一 逐行执行

# 编辑/etc/sysctl.conf
vi /etc/sysctl.conf
# 添加下面内容
vm.max_map_count=655360
# 然后执行命令让配置生效
sysctl -p

方法二 新建build.sh

if [ $(grep 'vm.max_map_count' /etc/sysctl.conf |wc -l) -eq 0 ] ; \
then echo 'vm.max_map_count=655360' >> /etc/sysctl.conf; \
fi
sysctl -p

执行

chmod +x build.sh
./build.sh

6、执行构建


docker-compose up --build -d

效果

docker ps

CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                              NAMES
5af70e32dbb8        elfk_es01           "/usr/local/bin/dock…"   14 seconds ago      Up 6 seconds        0.0.0.0:9200->9200/tcp, 9300/tcp   es01
793bab4160b7        elfk_es03           "/usr/local/bin/dock…"   14 seconds ago      Up 6 seconds        9200/tcp, 9300/tcp                 es03
93ffa61c639f        elfk_es02           "/usr/local/bin/dock…"   14 seconds ago      Up 6 seconds        9200/tcp, 9300/tcp                 es02

7、查看日志

docker logs -f es01
docker logs -f es02
docker logs -f es03

三、集群状态监控cerebro

1、简介

Cerebro 是 Elasticsearch 版本5.x 以前插件 Elasticsearch Kopf 的演变，可以通过图形界面查看分片分配和执行常见的索引操作。

Cerebro是一个使用Scala，Play Framework，AngularJS和Bootstrap构建的开源（MIT许可）elasticsearch web管理工具，比Kibana轻量很多，很适用与生产和测试等环境的es集群管理。

它是kopf的升级版本，更改了个名字，包含kopf的功能(监控工具，并包含head插件的部分功能，可图形化的进行新建索引等操作。

现在kopf已经不再更新，只对cerebro进行维护。

Cerebro的运行需要Java 1.8或更高版本才能运行。

在这里插入图片描述
官网：https://github.com/lmenezes/cerebro/releases

2、安装

下载

cerebro-0.9.4.zip

解压

在这里插入图片描述

启动

进入bin目录
在这里插入图片描述
双击其中的cerebro.bat即可启动服务，端口是9000

访问其中一个es

在这里插入图片描述
在这里插入图片描述

四、创建索引库

1、利用kibana的DevTools创建索引库

在DevTools中输入指令

PUT /itcast
{
	"settings": {
		"number_of_shards": 3, // 分片数量
		"number_of_replicas": 1 // 副本数量
	},
	"mappings": {
		"properties": {
			// mapping映射定义 ...
		}
	}
}

2、利用cerebro创建

在这里插入图片描述
在这里插入图片描述
集群分片，备份效果：
在这里插入图片描述

Blueeyedboy521
关注
专栏目录
ElasticSearch实战（二）-ElasticSearch集群环境搭建
专注基础架构领域
08-21 331
本篇的ES集群是基于ElasticSearch实战（一）-ElasticSearch单机环境搭建的配置来做的，如果你还没有完成第一篇ES单机环境的部署，不建议阅读本文。 一、准备工作 三台服务器配置信息，如下所示： 主机名称 IP地址 硬盘容量 内存容量 CPU核数 es-01 192.168.181.132 50GB 8GB 4C es-02 192.168.181.133 50GB 8GB...
Elasticsearch集群搭建实战
热门推荐
ch648966459的专栏
06-14 1万+
1. 基础配置与安装 1.1     基础环境 node110.202.20.191 node210.202.20.192 node310.202.20.193 node410.202.20.194 node510.202.20.195 node610.202.20.196 node710.202.20.197 node810.202.20.198 以上服务器基于现在的云平台(
ES集群搭建
miserable_world的博客
01-30 1852
ES 8.12.0 集群搭建
ElasticSearch 的集群部署环境搭建
最新发布
javaMov的专栏
08-26 1589
ElasticSearch 的集群部署环境搭建
搭建 es 集群
weixin_59367598的博客
03-18 2789
elasticsearch 集群搭建
Python中集成es两种方式+集群+脑裂+打分
A1L__的博客
02-21 546
Python中集成es两种方式 1 原生集成 # Official low-level client for Elasticsearch ### 等同于pymysql #pip3 install elasticsearch from elasticsearch import Elasticsearch obj = Elasticsearch() # 得到一个对象 # 创建索引（Index） # result = obj.indices.create(index='user', body={"us
es 集群的搭建
健康平安的活着的专栏
07-04 3772
1.1 es伪分布式 Es会自动发现同一网段下的es，配置成相同集群名字的各个节点形成一个集群。如果在同一网段下有多个集群，就可以用culster.name来区分不同的集群。 1．下载es软件包，修改配置文件。本案例使用2.0版本，放到e盘下，如图 简单修改elasticsearch.yml配置文件的内容：（确保key和value的前面都有一个空格，即cluster.n
cent7-es6.2.4集群搭建-全新环境-重点
07-09
在两台机器上搭建Elasticsearch集群前，首先确保两台服务器的 `/etc/hosts` 文件配置正确，以便节点之间能够互相识别。例如，设置如下的IP与主机名映射： ``` 127.0.0.1 localhost localhost.localdomain ...
cent7-es6.2.4集群搭建-单点es有数据时添加1台
07-09
CentOS 7 搭建 Elasticsearch 6.2.4 集群 Adding a New Node to an Existing Cluster with Data 本文将指导读者如何在 CentOS 7 上搭建 Elasticsearch 6.2.4 集群，并在现有集群中添加新节点。在开始之前，请确保您...
ElasticSearch零基础至电商项目实战（含ES集群搭建）
06-16
本课程提供所有代码笔记素材...1、ElasticSearch下载安装(window以及linux下安装) 2、集群环境搭建 3、客户端Kibana安装与使用 4、集群管理插件head安装使用 5、java api 操作 ES 6、电商项目实战应用等等 ...
【ES专题】ElasticSearch集群架构剖析_es集群
2401_84159688的博客
04-28 1053
诸如。
es集群搭建
weixin_30352191的博客
09-06 273
1、复制5份es，版本要相同，且各个节点上jdk版本也要相同，否则会报数据同步格式不一致 invalid internal transport message format。 2、配置elasticsearch.yml，主要修改以下方面： 　　cluster.name: my-application #集群名，各个节点要一致 　　node.name: node-01 ...
ES搭建集群
weixin_46685039的博客
08-22 1291
分别依次双击执行节点的bin/elasticsearch.bat, 启动节点服务器（可以编写一个脚本启动），启动后，会自动加入指定名称的集群。创建 elasticsearch-7.8.0-cluster 文件夹，在内部复制三个 elasticsearch 服务。然后每个文件目录中每个节点的 config/elasticsearch.yml 配置文件。一、创建 elasticsearch-cluster 文件夹。指示着当前集群在总体上是否工作正常。一、用Postman，查看集群状态。
ES集群的搭建
qq_41961805的博客
07-18 577
本篇博客在ELK安装部署之后完成，详情请见ELK的简介与安装部署 接下来，我们要用到几台虚拟机部署ELK集群。 主机 ip server1 172.25.26.1 server2 172.25.26.2 server3 172.25.26.3 [root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml dis...
es 集群搭建
平常心的博客
09-03 212
实验环境：三台虚拟机、配置Java环境 [root@localhost ~]# tar -zxf jdk-8u201-linux-x64.tar.gz -C /usr/local/ [root@localhost ~]# vim /etc/profile java version “1.8.0_201” Java™ SE Runtime Environment (build 1.8.0_201-b09) Java HotSpot™ 64-Bit Server VM (build 25.201-b09, mi
Elasticsearch集群部署实战指南
2. **Elasticsearch集群搭建**： - 解压安装：将Elasticsearch的压缩包解压至/usr/local目录。 - 创建目录：创建"data"和"logs"目录，分别用于存储Elasticsearch的数据和日志文件，确保这些路径存在，否则启动时会...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值