一、环境说明
虚拟机名称 | 节点名称 | 内存及说明 |
---|---|---|
hadoop002 | node-1 | 2G 默认配置其为【Master】 |
hadoop003 | node-2 | 2G Node节点1 |
hadoop004 | node-3 | 2G Node节点1 |
软件 | 版本 | 说明 |
---|---|---|
JDK | 1.8+ | es 高版本以后需要Java11 |
elasticsearch | 7.8.0 | 当前最新版本为8.1 官网地址 |
二、安装步骤
-
安装JDK,可参考我的其他博文:jdk安装
-
上传es到集群中某台虚拟机中,如hadoop002上的/tools目录下
-
解压安装至/training目录下,执行:
tar -zvxf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /training/
-
重名名(可选做),进入/training目录下执行:
mv elasticsearch-7.8.0 es-cluster
-
因安全问题,es不允许root用户操作,需要新建用户(
在所有节点上都需要新增用户
):useradd es #新增 es 用户 passwd es #为 es 用户设置密码,然后输入密码,如1
-
使用
root用户
将elasticserch整个安装包所属用户由root用户
修改为es用户
,该操作需要在集群中所有节点进行操作,执行命令:chown -R es:es /training/es-cluster #文件夹所有者
-
使用
es用户
进入到es安装目录下的config目录下,修改elasticsearch.yml,在该文件末尾添加如下内容:(读者自行修改成自己的环境)#集群名称 cluster.name: cluster-es ##节点名称,每个节点的名称不能重复 node.name: node-1 ##ip 地址,每个节点的地址不能重复 network.host: hadoop003 #是不是有资格主节点 node.master: true node.data: true http.port: 9200 ## head 插件需要这打开这两个配置 http.cors.allow-origin: "*" http.cors.enabled: true http.max_content_length: 200mb ##es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master cluster.initial_master_nodes: ["node-1"] ##es7.x 之后新增的配置,节点发现 discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"] gateway.recover_after_nodes: 2 network.tcp.keep_alive: true network.tcp.no_delay: true transport.tcp.compress: true ##集群内同时启动的数据任务个数,默认是 2 个 cluster.routing.allocation.cluster_concurrent_rebalance: 16 ##添加或删除节点及负载均衡时并发恢复的线程个数,默认 4 个 cluster.routing.allocation.node_concurrent_recoveries: 16 ##初始化数据恢复时,并发恢复线程的个数,默认 4 个 cluster.routing.allocation.node_initial_primaries_recoveries: 16
-
使用
root用户
修改/etc/security/limits.conf ,并分发文件至其他节点# 在文件末尾中增加下面内容 es soft nofile 65536 es hard nofile 65536
分发至其他节点命令:
scp -r /etc/security/limits.conf root@hadoop003:/etc/security/limits.conf scp -r /etc/security/limits.conf root@hadoop004:/etc/security/limits.conf
-
使用
root用户
修改/etc/security/limits.d/20-nproc.conf,并分发文件至其他节点# 在文件末尾中增加下面内容 es soft nofile 65536 es hard nofile 65536 * hard nproc 4096 # 注:* 带表 Linux 所有用户名称
分发至其他节点命令:
scp -r /etc/security/limits.d/20-nproc.conf root@hadoop003:/etc/security/limits.d/20-nproc.conf scp -r /etc/security/limits.d/20-nproc.conf root@hadoop004:/etc/security/limits.d/20-nproc.conf
-
使用
root用户
修改/etc/sysctl.conf,并分发文件至其他节点# 在文件中增加下面内容 vm.max_map_count=655360
分发至其他节点命令:
scp -r /etc/sysctl.conf root@hadoop003:/etc/sysctl.conf scp -r /etc/sysctl.conf root@hadoop004:/etc/sysctl.conf
为使得文件修改生效,需要重新加载(所有节点都需执行):
sysctl -p
-
使用
es用户
将配置好后的es安装目录整个分发至Hadoop003和hadoop004节点scp -r /training/es-cluster es@hadoop003:/training/ scp -r /training/es-cluster es@hadoop004:/training/
-
使用
es用户
在hadoop003上对es安装目录下的config目录下的elasticsearch.yml文件进行修改:#集群名称 cluster.name: cluster-es ##节点名称,每个节点的名称不能重复 node.name: node-2 ##ip 地址,每个节点的地址不能重复 network.host: hadoop003 #是不是有资格主节点 node.master: true node.data: true http.port: 9200 ## head 插件需要这打开这两个配置 http.cors.allow-origin: "*" http.cors.enabled: true http.max_content_length: 200mb ##es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master cluster.initial_master_nodes: ["node-1"] ##es7.x 之后新增的配置,节点发现 discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"] gateway.recover_after_nodes: 2 network.tcp.keep_alive: true network.tcp.no_delay: true transport.tcp.compress: true ##集群内同时启动的数据任务个数,默认是 2 个 cluster.routing.allocation.cluster_concurrent_rebalance: 16 ##添加或删除节点及负载均衡时并发恢复的线程个数,默认 4 个 cluster.routing.allocation.node_concurrent_recoveries: 16 ##初始化数据恢复时,并发恢复线程的个数,默认 4 个 cluster.routing.allocation.node_initial_primaries_recoveries: 16
-
使用
es用户
在hadoop004上对es安装目录下的config目录下的elasticsearch.yml文件进行修改:#集群名称 cluster.name: cluster-es ##节点名称,每个节点的名称不能重复 node.name: node-3 ##ip 地址,每个节点的地址不能重复 network.host: hadoop004 #是不是有资格主节点 node.master: true node.data: true http.port: 9200 ## head 插件需要这打开这两个配置 http.cors.allow-origin: "*" http.cors.enabled: true http.max_content_length: 200mb ##es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master cluster.initial_master_nodes: ["node-1"] ##es7.x 之后新增的配置,节点发现 discovery.seed_hosts: ["hadoop002:9300","hadoop003:9300","hadoop004:9300"] gateway.recover_after_nodes: 2 network.tcp.keep_alive: true network.tcp.no_delay: true transport.tcp.compress: true ##集群内同时启动的数据任务个数,默认是 2 个 cluster.routing.allocation.cluster_concurrent_rebalance: 16 ##添加或删除节点及负载均衡时并发恢复的线程个数,默认 4 个 cluster.routing.allocation.node_concurrent_recoveries: 16 ##初始化数据恢复时,并发恢复线程的个数,默认 4 个 cluster.routing.allocation.node_initial_primaries_recoveries: 16
-
分别进入hadoop003、hadoop004两台节点,将es安装目录下的data目录下的nodes目录删除掉,如不删除,则无法显示其他两个节点
-
使用
es用户
分别在hadoop002、hadoop003、hadoop004启动集群
进入到es安装目录下,执行:#-d为后台进程方式启动 bin/elasticsearch -d
-
验证集群正确与否
-
在浏览器中输入:
http://hadoop002:9200/_cat/nodes
,成功界面如下:
其中红色框框住的是node-1为Master节点
-
利用es浏览器插件,可以在chrome中查看:
插件地址可以自行下载:链接:https://pan.baidu.com/s/1TmStGgQ2LTZOIe31ARnsNQ
提取码:twak
-