docker-elasticsearch集群

此文只作为学习记录

1、环境准备
所有操作之前运行：

sysctl -w vm.max_map_count=262144

以上只是测试，所以临时修改，永久修改使用下面
#防止JVM报错
echo vm.max_map_count=262144 >> /etc/sysctl.conf

sysctl -p

2、准备docker网络
docker创建容器时默认采用bridge网络，自行分配ip，不允许自行指定。
在实际部署中，我们需要指定容器ip，不允许自行分配ip，尤其是搭建集群时，固定ip是必须的。
我们可以创建自己的bridge网络： mynet，创建容器的时候指定网络为mynet并指定ip即可。
查看网络模式 docker network ls

创建一个新的bridge网络

docker network create --driver bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1 mynet

查看网络信息
docker network inspect mynet
以后使用 --network=mynet --ip 172.18.12.* 指定ip

3、创建3个Mater节点

for port in $(seq 1 3);\
do \
mkdir -p /mydata/elasticsearch/master-${port}/config
mkdir -p /mydata/elasticsearch/master-${port}/data
chmod -R 777 /mydata/elasticsearch/master-${port}
cat <<EOF>/mydata/elasticsearch/master-${port}/config/elasticsearch.yml
cluster.name:my-es #集群的名称，同一个集群该值必须设置成相同的
node.name:es-master-${port} #该节点的名称
node.master:true #该节点是否有机会成为master节点
node.data:false #该节点是否可以存储数据
network.host:0.0.0.0
http.host:0.0.0.0 #所有http均可访问
http.port:920${port}
transport.tcp.port:930${port}
#discovery.zen.minimum_master_nodes:2 #设置这个参数来保证集群中的节点可以知道其他N个有master资格的节点，官方推荐 (N/2)+1
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts:["172.18.12.21:9301","172.18.12.22:9302","172.18.12.23:9303"]#设置集群中的master节点的初始列表，可以通过这些节点来自动发现其他新加入集群的节点，es7的新增配置
cluster.initial_master_nodes:["172.18.12.21"] #新集群初始时的候选主节点，es7的新增配置
EOF
docker run --name elasticsearch-node-${port} -p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/master-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/master-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/master-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done

4、创建3个Data-Node

for port in $(seq 4 6);\
do \
mkdir -p /mydata/elasticsearch/node-${port}/config
mkdir -p /mydata/elasticsearch/node-${port}/data
chmod -R 777 /mydata/elasticsearch/node-${port}
cat <<EOF>/mydata/elasticsearch/node-${port}/config/elasticsearch.yml
cluster.name:my-es #集群的名称，同一个集群该值必须设置成相同的
node.name:es-node-${port} #该节点的名称
node.master:false #该节点是否有机会成为master节点
node.data:true #该节点是否可以存储数据
network.host:0.0.0.0
http.host:0.0.0.0 #所有http均可访问
http.port:920${port}
transport.tcp.port:930${port}
#discovery.zen.minimum_master_nodes:2 #设置这个参数来保证集群中的节点可以知道其他N个有master资格的节点，官方推荐 (N/2)+1
discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时ping连接的超时时间
discovery.seed_hosts:["172.18.12.21:9301","172.18.12.22:9302","172.18.12.23:9303"]#设置集群中的master节点的初始列表，可以通过这些节点来自动发现其他新加入集群的节点，es7的新增配置
cluster.initial_master_nodes:["172.18.12.21"] #新集群初始时的候选主节点，es7的新增配置
EOF
docker run --name elasticsearch-node-${port} -p 920${port}:920${port} -p 930${port}:930${port} \
--network=mynet --ip 172.18.12.2${port} \
-e ES_JAVA_OPTS="-Xms300m -Xmx300m" \
-v /mydata/elasticsearch/node-${port}/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/node-${port}/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/node-${port}/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.4.2
done

5.查看集群信息

ip:port/_cluster/stats?pretty查看集群状态

ip:port/_cluster/health?pretty查看集群健康状况

ip:port/_cat/nodes 查看各个节点信息

$ curl localhost:9200/_cat

/_cat/allocation

/_cat/shards

/_cat/shards/{index}

/_cat/master

/_cat/nodes

/_cat/indices

/_cat/indices/{index}

/_cat/segments

/_cat/segments/{index}

/_cat/count

/_cat/count/{index}

/_cat/recovery

/_cat/recovery/{index}

/_cat/health

/_cat/pending_tasks

/_cat/aliases

/_cat/aliases/{alias}

/_cat/thread_pool