linux es7.17.7安装及集群部署可运用于生产(内网环境半脚本安装单机/集群）无坑

已于 2024-05-18 00:42:52 修改
阅读量1.1k 收藏 17
点赞数 26
分类专栏： es 文章标签： linux 运维 服务器
于 2024-05-16 04:45:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42250832/article/details/138932054
版权

在这里插入图片描述
一、准备工作
关闭selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

关闭防火墙

systemctl stop firewalld

设置hosts

vim /etc/hosts

ip +域名

例子
192.168.1.133 es.xx.com

1、安装jdk1.8https://blog.csdn.net/qq_42250832/article/details/138931378?spm=1001.2014.3001.5501
官方下载连接地址，选择版本，点击下载
https://www.elastic.co/cn/downloads/past-releases/#elasticsearch
在这里插入图片描述
2、点击x86版本下载
在这里插入图片描述

3、分词器插件下载
ik分词器下载
https://github.com/infinilabs/analysis-ik/releases选择tags，找到对应7.17.7版本点tar.gz
Ansj分词器
https://github.com/NLPchina/elasticsearch-analysis-ansj/releases 选择tags，找到对应7.17.7版本点tar.gz
中文拼音分词器
https://github.com/medcl/elasticsearch-analysis-pinyin/releases 选择tags，找到对应7.17.7版本点tar.gz

安装例子
在这里插入图片描述
4、上传到/opt目录
在这里插入图片描述
5、创建脚本tar包目录

mkdir -p /opt/install/package/es

6、上传安装包到指定目录

cd /opt/install/package/es

在这里插入图片描述
7、创建安装脚本

mkdir /opt/install/es -p

在这里插入图片描述

vim /opt/install/es/install-es.sh

#!/bin/bash
#
package_name="elasticsearch-7.17.7-linux-x86_64.tar.gz"
script_dir=$(cd $(dirname $0);pwd)
source ./$scipt_dir/../Loginfo.sh

#test -d /opt/elasticsearch-7.17.7 && rm -rf /opt/elasticsearch-7.17.7
if [ -d /opt/elasticsearch-7.17.7 ];then
    log_info "elasticsearch dir already exists!"
    exit 1
else
log_info "install es ,tar package"
tar -zxvf ../package/es/$package_name -C /opt &>/dev/null
log_error "tar package failed."

username=es
if id -u $username >/dev/null 2>&1; then
        log_info "user exists"
else
        #echo "user does not exist"
	useradd es
	echo "es@1234!!H" |passwd  --stdin es
fi

log_info "add es sudoers config"
sed -i '/es     ALL=(ALL)       ALL/d' /etc/sudoers
sed -i '/^root/ies     ALL=(ALL)       ALL' /etc/sudoers

log_info "add nproc/nofile  limit.conf "
if ! grep "*        soft    nproc 65535" /etc/security/limits.conf &>/dev/null; then
cat >> /etc/security/limits.conf << EOF

*        soft    nproc 65535
*        hard    nproc 65535
*        soft    nofile 65535
*        hard    nofile 65535
EOF
fi

log_info "add vm.max_map_count sysctl.conf"
if ! grep "vm.max_map_count=655360"  /etc/sysctl.conf &>/dev/null; then
cat >>  /etc/sysctl.conf << EOF
vm.max_map_count=655360
EOF
fi

sysctl -p &>/dev/null

log_info "Modify elasticsearch.yml file"
if ! grep "^node.name: node-1" /opt/elasticsearch-7.17.7/config/elasticsearch.yml &>/dev/null;then

cat >>/opt/elasticsearch-7.17.7/config/elasticsearch.yml <<EOF
node.name: node-1
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"

EOF
fi

#log_info  "add ES_analysis to plugins"
#rm -rf ES分词插件
#tar -zxvf ../package/es/ES_analysis.tar -C $script_dir &>/dev/null 

#\mv ES分词插件/analysis-ik-7.17.7/ ES分词插件/analysis-pinyin-7.17.7/  ES分词插件/elasticsearch-analysis-ansj-7.17.7.0-release/ /opt/elasticsearch-7.17.7/plugins/
#\mv ES/analysis-ik-7.17.7/ ES/analysis-pinyin-7.17.7/  ES/elasticsearch-analysis-ansj-7.17.7.0-release/ /opt/elasticsearch-7.17.7/plugins/
#cp -v  ES/synonym.dic /opt/elasticsearch-7.17.7/config

#ps -ef | grep elastic|grep -v grep|awk '{print $2}'|xargs kill -9 &>/dev/null 
ps -ef | grep elastic|grep -v grep|awk '{print $2}'|xargs kill -9 &>/dev/null

log_info "start es..."
chown es:es /opt/elasticsearch-7.17.7/ -R

su - es -c  "cd /opt/elasticsearch-7.17.7/bin;./elasticsearch -d"

log_info "print es processlist.."
ps axu|grep elasticsearch|grep -v grep
log_info  "install done.. "
log_info  "install dir /opt/elasticsearch-7.17.7/"
rm -rf ES/
fi

8、执行安装命令

sh /opt/install/es/install-es.sh

9、安装插件

cd /opt 

tar -xvf analysis-ik-7.17.7.tar.gz -C /opt/elasticsearch-7.17.7/plugins/ 
tar -xvf analysis-pinyin-7.17.7.tar.gz  -C  /opt/elasticsearch-7.17.7/plugins/
tar -xvf elasticsearch-analysis-ansj-7.17.7.tar.gz -C  /opt/elasticsearch-7.17.7/plugins/

10、修改插件名字

cd /opt/elasticsearch-7.17.7/plugins/

mv analysis-ik-7.17.7 analysis-ik
mv analysis-pinyin-7.17.7 analysis-pinyin
mv elasticsearch-analysis-ansj-7.17.7 analysis-ansj

11、授权重启es

chown es:es /opt/elasticsearch-7.17.7 -R

ps aux | grep -v grep |grep el | xargs kill -9 {print $2}
su - es
/opt/elasticsearch-7.17.7/bin/elasticsearch -d

12、访问验证ip+端口 #默认端口9200
在这里插入图片描述
二、集群部署三台
1、将/opt/elasticsearch-7.17.7拷贝到另外两台的 /opt/
例子#注意当前为192.168.1.133

cd /opt
scp -r elasticsearch-7.17.7 root@192.168.1.134:/opt             
scp -r elasticsearch-7.17.7 root@192.168.1.135:/opt

2、并且在另外两台机器创建es账号并且目录授权

useradd es
passwd es

密码为es@1234!!H注意密码最好三台一样
3、其余两台root授权es目录启动

chown -R es:es /opt/elasticsearch-7.17.7
su - es
/opt/elasticsearch-7.17.7/bin/elasticsearch -d

4、Es增加密码操作--------请用es账号操作增加密码相关内容------三台服务器都需要操作
①开启安全认证
在config/elasticsearch.yml最后中新增设置

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

②重启es服务
1）.查找ES进程

ps -ef | grep elastic

2）.杀掉ES进程

kill -9 2382（进程号）

3）.重启ES
后台启动

/opt/elasticsearch-7.17.7/bin/elasticsearch -d

进入目录

cd /opt/elasticsearch-7.17.7

③、生成证书

./bin/elasticsearch-certutil ca

下面两项直接回车
Please enter the desired output file [elastic-stack-ca.p12]: #这里直接回车即可
Enter password for elastic-stack-ca.p12 : #这里直接回车即可，不要设置密码,假如在生成证书的时候设置了密码，会导致无法启动ES报错
设置完毕后，会在es安装目录下看到新生成的文件：
elastic-stack-ca.p12
④生成密钥

./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

下面三项直接回车
Enter password for CA (elastic-stack-ca.p12) :
Please enter the desired output file [elastic-certificates.p12]:
Enter password for elastic-certificates.p12 : #这里直接回车即可，不要设置密码，否则后面ES会启动不了
设置完毕后，会在es安装目录下看到新生成的文件：
elastic-certificates.p12
⑤在设置中设置认证文件
在config目录创建certs目录,拷贝p12文件文件至certs目录下,并在设置中设置p12文件路径

cd config/
mkdir certs
cp ../elastic-certificates.p12 certs/

在设置中设置p12文件路径

vim /opt/elasticsearch-7.17.7/elasticsearch.yml

新增配置

xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

重启所有es主机

kill -9 2382（进程号）
/opt/elasticsearch-7.17.7/bin/elasticsearch -d

1、如配置集群，请稍等在配置密码，如配置单机，请直接设置密码
设置密码
单机

../bin/elasticsearch-setup-passwords interactive

登录浏览器访问单机192.168.1.133:9200 账号elastic 密码es@1234!!H密码为刚配置的es密码，并非主机密码
会有一堆账号密码设置都一样就行，敲一个密码敲一下回车，敲一个密码敲一下回车
在这里插入图片描述

集群请等待集群配置完成在设置密码
三台机器配置es文件
使用root权限配置将配置文件和脚本存储在目录,授权777

cd /opt/install/es

chmod 777 ./*

在这里插入图片描述

vim elasticsearch.yml.md

cluster.name: cluster-es
node.name: HOSTNAME_LOCAL
node.master: true
node.data: true
network.host: NODEIP_LOCAL
network.publish_host: NODEIP_LOCAL
discovery.seed_hosts: ["NODEIPA:9300","NODEIPB:9300","NODEIPC:9300"]
cluster.initial_master_nodes: ["HOSTNAMEA","HOSTNAMEB","HOSTNAMEC"]
cluster.routing.allocation.cluster_concurrent_rebalance: 16
cluster.routing.allocation.node_concurrent_recoveries: 16
cluster.routing.allocation.node_initial_primaries_recoveries: 16
http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

vim install-es-cluster.sh

#!/bin/bash
#

if [ -z $3 ];then
    echo "Usage: sh $(basename $0) local_ip node-ip01 node-ip02 node-ip03 "
    echo "Ex: sh $(basename $0) 192.168.1.133 192.168.1.133 192.168.1.134 192.168.1.135"
    exit -1
fi
script_dir=$(cd $(dirname $0);pwd)
install_dir=/opt
source $script_dir/../Loginfo.sh
LOCAL_IP="$1"
NODEIPA="$2"
NODEIPB="$3"
NODEIPC="$4"

hostnamea=node-$(echo $NODEIPA|awk -F'.' '{print $NF}')
hostnameb=node-$(echo $NODEIPB|awk -F'.' '{print $NF}')
hostnamec=node-$(echo $NODEIPC|awk -F'.' '{print $NF}')
hostname_local=node-$(echo $LOCAL_IP|awk -F'.' '{print $NF}')



#test -d $install_dir/elasticsearch-7.17.7 && rm -rf $install_dir/elasticsearch-7.17.7
if [ ! -d $install_dir/elasticsearch-7.17.7 ];then
    log_info "elasticsearch $install_dir install dir does not exist..."
    exit 1
else
    cp  -v  elasticsearch.yml.md $install_dir/elasticsearch-7.17.7/config/elasticsearch.yml
    sed -i -e 's/HOSTNAME_LOCAL/'$hostname_local'/g' -e   's/NODEIP_LOCAL/'$LOCAL_IP'/g' -e  's/NODEIPA/'$NODEIPA'/g'  \
             -e  's/NODEIPB/'$NODEIPB'/g' -e  's/NODEIPC/'$NODEIPC'/g'  -e  's/HOSTNAMEA/'$hostnamea'/g' \
             -e  's/HOSTNAMEB/'$hostnameb'/g'  -e  's/HOSTNAMEC/'$hostnamec'/g' \
             $install_dir/elasticsearch-7.17.7/config/elasticsearch.yml
    ps axu|grep elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9
    username=es
    log_info "start es..."
    chown $username:$username $install_dir/elasticsearch-7.17.7/ -R
    su - $username -c  "cd $install_dir/elasticsearch-7.17.7/bin;./elasticsearch -d"
    ps axu|grep elasticsearch|grep -v grep
fi

对于集群,请再集中每个节点操作这一步 ,将主节点p12认证文件拷贝到其他节点上，其余节点原始文件备份
,并修改所有ES节点的配置文件添加配置
注意一定要将主节点es下config上两个认证文件和想设置的主节点一样及certs也要和主节点一样，主节点都拷贝过去就行，做集群之前一定要删除nodes文件
密码在安装完成集群版本在设置
每台服务器都要删除

rm -rf /opt/elasticsearch-7.17.7/data/nodes

sh install-es-cluster.sh 192.168.1.133 192.168.1.133 192.168.1.134 192.168.1.135
此命令三台主机都需要执行第一个是本机ip，第二个是master节点，第三/四是node节点
安装完成需要在主节点执行…/bin/elasticsearch-setup-passwords interactive 设置/重置密码

浏览器访问集群账号elastic 密码es@1234!!H密码为刚配置的es密码，并非主机密码
http://192.168.1.133:9200/_cat/health?v如果返回的node.total是3，代表集群搭建成功

设置es内存

cd /opt/elasticsearch-7.17.7/config

vim jvm.options

取消注释-Xms -Xmx 设置为服务器1/3内存大小，但是最好不要低于4g，否则可能会内存溢出
在这里插入图片描述
重新启动es—注意es服务是否为es权限如果不是

chown es:es /opt/elasticsearch-7.17.7 -R
su - es
ps axu|grep elasticsearch|grep -v grep|awk '{print $2}'|xargs kill -9
/opt/elasticsearch-7.17.7/bin/elasticsearch -d

*注意如果应用连接es服务高可用版本需要修改hosts 比如三台主机

vim /etc/hosts

192.168.1.133 es1.xx.com
192.168.1.134 es2.xx.com
192.168.1.135 es3.xx.com
而且需要编辑应用的yml文件修改为http访问连接及user、password
在这里插入图片描述

理论界的实战派
关注
  • 26
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
elasticsearch-7.17.6及对应版本IK分词
02-19
elasticsearch-7.17.6及对应版本IK分词 适合人群：elasticsearch初学者 Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。Logstash 和 Beats 有助于收集、聚合和丰富您的数据并将其存储在 Elastic...
elasticsearch7.17.13版本分词器插件安装包
11-13
适用于elasticsearch7.17.13版本的分词器插件安装包
Linux安装和配置Elasticsearch7.17
雨云21的博客
03-31 4609
下载 安装Elasticsearch之前需要安装JDK： https://blog.csdn.net/hyh17808770899/article/details/123826980 去官网下载Elasticsearch最新版，地址：https://www.elastic.co/cn/elasticsearch/ 从支持矩阵：https://www.elastic.co/cn/support/matrix#matrix_jvm中可以看到，支持JDK1.8的Elasticsearch最高版本为7.17.x，
【运维基础篇】-Elasticsearch7.x部署
咫尺&天涯的博客
04-14 946
Elasticsearch 是一个开源的分布式搜索和分析引擎，最初由 Elasticsearch N.V. 公司开发并维护，现在是 Elastic 公司的一个子项目。它是建立在 Apache Lucene 基础之上的，提供了一个强大的 RESTful API，用于进行实时搜索分析和存储大量结构化或非结构化数据。Elasticsearch 被设计用于处理各种类型的数据，包括文本数字地理位置时间序列等。它提供了一个简单但功能强大的查询语言，可以快速地执行各种搜索和分析操作。
Elasticsearch7.17.3+分布式搜索引擎
呆萌小新@渊洁的博客
08-04 2305
Elastic的底层是开源库 Lucene。但是，你没法直接用Lucene，必须自己写代码去调用它的接口。Elastic是 Lucene的封装，提供了 REST API的操作接口，开箱即用。REST API:天然的跨平台。博主尝试了es8.X.X版本坑太多…官网地址GET /my_index/_mapping #查看映射"age" : {1.安装nginx通过ik访问nginx代理,获得最新词库信息.因此先安装nginx。...
ELFK 7.17.6集群部署并收集java微服务日志；
qq_44930876的博客
01-10 932
ELFK 7.17.6集群部署并收集java微服务日志;
Elasticsearch7.13.1单机及集群环境搭建部署测试
冰之杍的博客
06-17 2963
Elasticsearch7.13.1单机及集群环境搭建部署
Elasticsearch基础篇(三)：Elasticsearch7.x的集群部署
后端开发
10-01 2264
本文将深入探讨Elasticsearch集群的架构和部署，包括主节点、数据节点、客户端节点、分片以及节点间的通信方式。当新的数据被索引时，数据节点会将数据分配给相应的分片，并将分片存储在本地磁盘上。如果数据节点发生故障，集群中的其他节点会接管该节点的工作，确保数据的可用性和冗余备份。当Elasticsearch集群中的节点发生故障时，主节点会自动将故障节点从集群中移除，并将分配给该节点的分片重新分配给其他节点。其中，host是节点所在的主机名，uuid是一个唯一的标识符，用于确保节点名称的唯一性。
ElasticSearch7 集群安装和配置
qianghong000的博客
05-21 2317
角色 节点名 ip master, data, voting_only node-master01 172.28.254.221 master, data node-master02 172.28.254.27 master, data node-master03 172.28.253.227 ...
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
一只小白
12-01 4409
Elasticsearch集群搭建手册及配置详情(基于elasticsearch-8.5.2版本)
ELK平台的部署实践
wangchaodee的博客
07-01 408
近期做了个日志平台项目，主要基于ELK技术做日志的收集、过滤、存储等，现将相关部署操作及有关脚本做汇总整理，形成部署文档，以便自己更系统掌握，也希望自己的总结能对读者有一定参考意义。
Docker环境部署，SpringCloud全家桶Docker搭建、Elasticsearch、kibana、Nacos、Sentinel、seata、skywalking、redis集群搭建
www_manong_com的博客
04-25 585
Docker环境部署，SpringCloud全家桶集群Docker搭建、Elasticsearch、kibana、Nacos、Sentinel、seata、skywalking、redis集群搭建
elasticsearch7.17.11版本分词器插件安装包
11-13
适用于elasticsearch7.17.11版本的分词器插件安装包
最新版windows elasticsearch-7.17.6-windows-x86_64.zip
09-02
最新版windows elasticsearch-7.17.6-windows-x86_64.zip最新版windows elasticsearch-7.17.6-windows-x86_64.zip
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
Linux CFS调度器简介
小立仔
05-30 802
Linux CFS调度器简介
CentOS 7基础操作05_Linux查看及切换目录
最新发布
IT_zhangsan
05-31 1204
pwd命令用于显示用户当前所在的工作目录位置,工作目录是用户操作文件或其他子目录的默认位置起点。使用pwd命令可以不添加任何选项或参数。
linux 之dma_buf (4)- mmap
z20230508的博客
05-28 934
前面几篇都是在 kernel space 对 dma-buf 进行访问的，本篇我们将一起来学习，如何在 user space 访问 dma-buf。当然，user space 访问 dma-buf 也属于 CPU Access 的一种。
Elasticsearch7.17.3安装中文分词器
05-28
要在Elasticsearch 7.17.3中安装中文分词器，你可以按照以下步骤进行操作： 1. 下载中文分词器插件 你可以从Elasticsearch官网下载ik中文分词器插件。下载链接为：https://github.com/medcl/elasticsearch-analysis-ik/releases。 2. 安装中文分词器插件 将下载的ik插件解压缩到Elasticsearch的plugins目录中，插件目录结构应该是：elasticsearch/plugins/ik。 3. 修改Elasticsearch配置文件 打开Elasticsearch的配置文件elasticsearch.yml，添加以下配置信息： ``` # 设置中文分词器为默认分词器 index: analysis: analyzer: ik_max_word: type: ik_max_word ik_smart: type: ik_smart ``` 4. 重启Elasticsearch 完成以上步骤后，重启Elasticsearch服务，使其生效。 现在你已经成功安装了中文分词器，可以在Elasticsearch中使用它来对中文文本进行分析和搜索。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值