Elasticsearch 环境搭建

coyote_xujie

已于 2023-05-09 12:02:10 修改

阅读量664

点赞数

分类专栏：工具学习 Elastic 文章标签： elasticsearch

于 2021-08-24 19:44:39 首次发布

本文链接：https://blog.csdn.net/Wolf_xujie/article/details/119575184

版权

Elastic 同时被 2 个专栏收录

25 篇文章 0 订阅

订阅专栏

工具学习

19 篇文章 0 订阅

订阅专栏

1. 安装包下载

到官网下载安装包：
Elasticsearch安装包

在这里插入图片描述

2. 固定集群ip地址

通常来说elasticsearch集群需要由3台物理机构成，其中一个作为masterNode，其余两个作为dataNode，为了防止物理机的ip地址发生变化造成集群彼此之间无法连接的问题，所以需要先固定ip地址。

2.1 对VMware进行设置

我这里是在 VMware 上安装了三台虚拟机作为三台物理机，因此需要先对VMware的网关进行设置。
详见 CentOS7 设置固定IP地址CentOS7 设置固定IP地址

分别固定三台虚拟机的IP地址，完成后使用Xshell进行连接。

3. 新建用户组和用户

因为ElasticSearch不支持Root用户直接操作，必须使用普通用户来安装启动，这里我们创建一个普通用户，以及定义一些常规目录用于存放我们的数据文件以及安装包等。

3.1 创建用户esjie

root 用户下

# 创建用户组，以及创建esjie用户

# 创建 elasticsearch 用户组
groupadd elasticsearch

# 创建 esjie 用户
useradd esjie

# 设置 esjie 用户密码
passwd esjie

# 添加 esjie 用户到 elasticsearch 组 
[root@centos7node1 ~]# usermod -G elasticsearch esjie

# 修改 /home/esjie 文件所有者为 esjie
[root@centos7node1 ~]# chown -R esjie /home/esjie

在这里插入图片描述

此外还需要设置 esjie 的 sudo 权限。通常来说，为了让用户有更大的操作权限，会给普通用户设置速冻权限，方便普通用户的操作。使用 root 用户执行 visudo 命令，然后为esjie用户添加权限。

visudo

# 在 root    ALL=(ALL)       ALL 下面一行，添加用户 esjie，如下所示
# esjie   ALL=(ALL)       ALL

在这里插入图片描述

3.2 创建目录

# 切换成 esjie 用户
su esjie

# 新建软件存放目录
mkdir serve

# 新建数据存放目录
mkdir -p data/esdata

# 新建日志存放目录
mkdir -p log/eslog

# 解压软件到 serve 目录
# 解压 jdk
tar -zxvf jdk-11.0.16_linux-x64_bin.tar.gz -C serve/
# 解压 es
tar -zxvf elasticsearch-7.10.2-linux-x86_64.tar.gz -C serve/

4. 配置es运行环境

4.1 卸载 centos7 自有的 jdk

# 切换到 root 用户
su

# 检查 java 的版本
java -version

# 或
rpm -qa | grep java

在这里插入图片描述

# 删除已经安装的 JDK
sudo yum remove java-1.*

在这里插入图片描述

4.2 配置 java 运行环境

# 切换 root 用户
su

# 配置jdk-11.0.16 环境变量
vim /etc/profile

# 在 /etc/profile末尾添加，其中 /home/esjie/serve/jdk-11.0.16 是 jdk 的绝对路径
export JAVA_HOME=/home/esjie/serve/jdk-11.0.16
export PATH=$PATH:$JAVA_HOME/bin

# 使环境变量生效
source /etc/profile

# 验证 java 环境
java -version

# 将用户切换为 esjie
su esjie

在这里插入图片描述

4.3 关闭虚拟机防火墙

# 切换 root 用户
su

# 检查防火墙状态
systemctl status firewalld

# 关闭防火墙
systemctl stop firewalld

# 设置开机禁用防火墙
systemctl disable firewalld.service

在这里插入图片描述
此外还有 启动防火墙 作为补充

# 设置开机禁用防火墙
systemctl disable firewalld.service

# 启动防火墙
systemctl start firewalld

5. 修改es配置文件

5.1 修改elasticsearch.yml

vim serve/elasticsearch-7.10.2/config/elasticsearch.ym

在这里插入图片描述

# Use a descriptive name for your cluster:
# 设置集群名称，集群内所有节点的名称必须一致。
cluster.name: test-application

# Use a descriptive name for the node:
# 设置节点名称，集群内节点名称必须唯一。
node.name: node-1

# 新增 节点角色设置
# 节点角色设置
node.roles: ["master", "data"]

# Path to directory where to store the data (separate multiple locations by comma):
# 索引数据存放的位置
path.data: /home/esjie/data/esdata

# Path to log files:
# 日志文件存放的位置
path.logs: /home/esjie/log/eslog

# Lock the memory on startup:
#  需求锁住物理内存，是：true、否：false
bootstrap.memory_lock: false

# 新增
bootstrap.system_call_filter: false

# Set the bind address to a specific IP (IPv4 or IPv6):
#  监听地址，用于访问该es
network.host: 0.0.0.0

# Set a custom port for HTTP:
#  es对外提供的http端口，默认 9200
http.port: 9200

# 新增 TCP的默认监听端口，默认 9300
transport.tcp.port: 9300

# The default list of hosts is ["127.0.0.1", "[::1]"]
#  es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
discovery.seed_hosts: [192.168.209.133:9300]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5

# Bootstrap the cluster using an initial set of master-eligible nodes:
#  es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["node-1"]

# 新增 是否支持跨域，是：true
http.cors.enabled: true

# 新增  “*” 表示支持所有域名
http.cors.allow-origin: "*"

在这里插入图片描述

5.2 修改 jvm.option

修改 jvm.option 配置文件，调整jvm堆内存大小。每个人 根据自己服务器 的内存大小来进行调整。
注意： 确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。堆内存大小不要超过系统内存的50%

vim serve/elasticsearch-7.10.2/config/jvm.options

在这里插入图片描述

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms1g
-Xmx1g

5.2 修改 limits.conf

ES 因为需要大量的创建索引文件，需要大量的打开系统文件，所以我们需要解除 linux 系统当中打开文件最大数目的限制，不然 ES 启动就会抛错。

# 切换 root 用户
su

vim /etc/security/limits.conf

在这里插入图片描述

# 在 /etc/security/limits.conf 末尾做如下修改，增加最大进程数
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

在这里插入图片描述
注意：

* 不要去掉了
此文件修改后需要重新登录用户，才会生效

5.3 修改 sysctl.conf

增加最大内存映射数

vim /etc/sysctl.conf

在这里插入图片描述

# 在 /etc/sysctl.conf 中新增
vm.max_map_count=655360
vm.swappiness=0

在这里插入图片描述

5.4 使配置生效

# 从指定的文件加载系统参数，如不指定即从/etc/sysctl.conf中加载
sysctl -p

# 切换用户
su esjie

在这里插入图片描述

5.5 启动 elasticsearch

# 切换目录
cd serve/elasticsearch-7.10.2/bin/

# 启动es 
./elasticsearch -d

在这里插入图片描述

通过浏览器访问

在这里插入图片描述

附录1：修改启动时的错误

6.1 错误情况1

[1]:max file descriptors [4096] for elasticsearch process is too low, increase to at least[65536]

在这里插入图片描述
解决方法： 切换到root用户，编辑limits.conf添加如下内容

vim /etc/security/limits.conf

添加如下内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

6.2 错误情况2

[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
ERROR: Elasticsearch did not exit normally - check the logs at /soft/elsearch/logs/elasticsearch.log

在这里插入图片描述

解决方法： 继续修改配置 elasticsearch.yaml
在这里插入图片描述

vim elasticsearch.yml

在这里插入图片描述

6.3 远程连接出错

检查防火墙状态：

systemctl status firewalld.service

在这里插入图片描述
执行后可以看到绿色字样标注的“active（running）”，说明防火墙是开启状态

关闭运行的防火墙

systemctl stop firewalld.service

在这里插入图片描述
永久关闭防火墙

systemctl disable firewalld.service

查看防火墙状态

systemctl status firewalld.service

在这里插入图片描述
可以看到，disavtive（dead）的字样，说明防火墙已经关闭

附录2： Docker版安装

我真的是刚刚知道docker是个什么东西，觉得这玩意真好用，用起来真简单，因为我们需要部署在Linux下，为了以后迁移ElasticStack环境方便，我们就使用Docker来进行部署，首先我们拉取一个带有ssh的centos docker镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.14.0

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.14.0

这就算成了，真的简单很多具体的说明可以参考官网
在这里插入图片描述