ELK简介以及安装部署，2024年最新Linux运维开发还会吃香吗

2401_84166147

于 2024-04-09 18:44:41 发布

阅读量283

点赞数 7

分类专栏： 2024年程序员学习文章标签： elk linux 运维开发

本文链接：https://blog.csdn.net/2401_84166147/article/details/137563162

版权

2024年程序员学习专栏收录该内容

86 篇文章 0 订阅

订阅专栏

[root@elasticsearch-1 elk]# ls
elasticsearch-8.6.0-linux-x86_64.tar.gz
# 将elasticsearch-8.6.0-linux-x86\_64.tar.gz解压到 / 目录下
[root@elasticsearch-1 elk]# tar xf elasticsearch-8.6.0-linux-x86\_64.tar.gz -C /
# 授予权限
[root@elasticsearch-1 ~]# chown -R elastic:elastic /elasticsearch-8.6.0/
[root@elasticsearch-1 ~]# ll -d /elasticsearch-8.6.0/
drwxr-xr-x 9 elastic elastic 172 Aug 30 16:01 /elasticsearch-8.6.0/

(3) 创建elasticsearch数据以及日志所存放的目录

[root@elasticsearch-1 ~]# mkdir -p /data/elasticsearch/{data,logs}
# 授予权限
[root@elasticsearch-1 ~]# chown -R elastic:elastic /data/elasticsearch/{data,logs}
[root@elasticsearch-1 ~]# ll /data/elasticsearch/
drwxr-xr-x 5 elastic elastic   87 Sep  4 17:27 data
drwxr-xr-x 2 elastic elastic 4096 Aug 31 09:45 logs

(4) 配置集群间安全访问证书密钥(仅在elasticsearch-1节点上操作即可)

# 签发ca证书
[root@elasticsearch-1 ~]# /elasticsearch-8.6.0/bin/elasticsearch-certutil ca
# 输入该指令后一直回车即可

# 签发节点证书
[root@elasticsearch-1 ~]# /elasticsearch-8.6.0/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
# 输入该指令后一直回车即可

(5) 将证书移至certs目录(仅在elasticsearch-1节点上操作即可)

# 无cert目录就创建(切记需用elastic用户创建)
[root@elasticsearch-1 ~]# mv /elasticsearch-8.6.0/elastic-stack-ca.p12 /elasticsearch-8.6.0/config/certs
[root@elasticsearch-1 ~]# mv /elasticsearch-8.6.0/elastic-certificates.p12 /elasticsearch-8.6.0/config/certs
[root@elasticsearch-1 ~]# scp -r /elasticsearch-8.6.0/config/certs 192.168.220.22:/elasticsearch-8.6.0/config/
[root@elasticsearch-1 ~]# scp -r /elasticsearch-8.6.0/config/certs 192.168.220.23:/elasticsearch-8.6.0/config/

(6) 创建elasticsearch.keystore文件(仅在elasticsearch-1节点上操作即可)

[root@elasticsearch-1 ~]# /elasticsearch-8.6.0/bin/elasticsearch-keystore create
[root@elasticsearch-1 ~]# scp /elasticsearch-8.6.0/config/elasticsearch.keystore 192.168.220.22:/elasticsearch-8.6.0/config/
[root@elasticsearch-1 ~]# scp /elasticsearch-8.6.0/config/elasticsearch.keystore 192.168.220.23:/elasticsearch-8.6.0/config/

(7) 证书权限更新（所有的证书都必须是elastic权限）

[root@elasticsearch-1 ~]# ll /elasticsearch-8.6.0/config/certs/
-rw------- 1 elastic elastic 3596 Aug 29 11:53 elastic-certificates.p12
-rw------- 1 elastic elastic 2672 Aug 29 11:53 elastic-stack-ca.p12
[root@elasticsearch-1 ~]# ll /elasticsearch-8.6.0/config/elasticsearch.keystore
-rw-rw---- 1 elastic elastic 199 Aug 29 11:59 /elasticsearch-8.6.0/config/elasticsearch.keystore

(8) elasticsearch配置文件修改

vim /elasticsearch-8.6.0/config/elasticsearch.yml（添加如下内容）

# 集群名称，三个节点保持一致
cluster.name: zhangjiaxin-es
# 节点名称，一般为主机名，三个节点不一致
node.name: elasticsearch-1
# 节点角色，master表示管理节点，data表示数据节点，该配置中节点既是管理节点，也是数据节点，remote\_cluster\_client远程集群客户端节点。
node.roles: [master,data,remote_cluster_client]
# 数据存放路径
path.data: /data/elasticsearch/data
# 日志存放路径
path.logs: /data/elasticsearch/logs
# 绑定监听IP
network.host: 192.168.220.21
# 设置对外服务的http端口,默认为9200
http.port: 9200
# #是否允许跨域访问，true表示允许
http.cors.enabled: true
# 设置访问
http.cors.allow-origin: "\*"
# 设置节点端口
transport.port: 9300
# 节点发现
discovery.seed\_hosts: ["192.168.220.21", "192.168.220.22", "192.168.220.23"]
# 集群初始化时master节点
cluster.initial\_master\_nodes: ["elasticsearch-1", "elasticsearch-2", "elasticsearch-3"]
# 启用节点上ES的XPACK安全功能，相当于总开关
xpack.security.enabled: true
# 传输层的认证设置
xpack.security.transport.ssl:
  enabled: true
  verification\_mode: none
  keystore.path: certs/elastic-certificates.p12
  truststore.path: certs/elastic-certificates.p12

(9) elasticsearch jvm参数配置

# 按照虚机分配的内存配置-Xms和-Xmx，本文中虚机内存为2G，设置-Xms和-Xmx值为1G，为一半
[root@elasticsearch-1 ~]# vim /elasticsearch-8.6.0/config/jvm.options
-Xms1g
-Xmx1g

(10) 将elasticsearch加入systemctl

[root@elasticsearch-1 ~]# vim /usr/lib/systemd/system/elasticsearch.service
[Unit]
Description=elasticsearch
After=network.target

[Service]
Type=forking
User=elastic
ExecStart=/elasticsearch-8.6.0/bin/elasticsearch -d
PrivateTmp=true
# 指定此进程可以打开的最大文件数
LimitNOFILE=65535
# 指定此进程可以打开的最大进程数
LimitNPROC=65535
# 最大虚拟内存
LimitAS=infinity
# 最大文件大小
LimitFSIZE=infinity
# 超时设置 0-永不超时
TimeoutStopSec=0
# SIGTERM是停止java进程的信号
KillSignal=SIGTERM
# 信号只发送给给JVM
KillMode=process
# java进程不会被杀掉
SendSIGKILL=no
# 正常退出状态
SuccessExitStatus=143

[Install]
WantedBy=multi-user.target

(11) 启动elasticsearch

[root@elasticsearch-1 ~]# systemctl start elasticsearch && systemctl enable elasticsearch

(12) 设置elasticsearch密码

[root@elasticsearch-1 ~]# /elasticsearch-8.6.0/bin/elasticsearch-setup-passwords interactive

在这里插入图片描述

(13) 查看集群状态

curl -u elastic:123456 http://192.168.220.21:9200/_cat/health?v

在这里插入图片描述

2、kibana

(1) 创建用户

[root@elasticsearch-1 ~]# useradd kibana
[root@elasticsearch-1 ~]# echo "123456" | passwd --stdin kibana
# 程序不以root用户启动

(2) 解压kibana压缩包

[root@kibana kibana]# ls
kibana-8.6.0-linux-x86_64.tar.gz
# 将kibana-8.6.0-linux-x86\_64.tar.gz解压到 / 目录下
[root@kibana kibana]# tar xf kibana-8.6.0-linux-x86\_64.tar.gz -C /
# 进行授权
[root@elasticsearch-1 ~]# chown -R kibana:kibana /kibana-8.6.0/
[root@kibana ~]# ll /kibana-8.6.0/ -d
drwxr-xr-x. 11 kibana kibana 239 Aug 30 16:09 /kibana-8.6.0/

(3) 修改kibana.yml配置文件

vim /kibana-8.6.0/config/kibana.yml（添加如下内容）

# 语言设置为中文
i18n.locale:  "zh-CN"
# 对外开放端口
server.port: 5601
# 对外开放ip
server.host: "192.168.220.20"
# 服务名称
server.name: "kibana"
# 设置连接elasticsearch集群的hosts
elasticsearch.hosts: ["http://192.168.220.21:9200", "http://192.168.220.22:9200", "http://192.168.220.23:9200"]
# 开启跨集群监控
monitoring.ui.ccs.enabled: true
# 使用kibana\_system用户连接elasticsearch集群
elasticsearch.username: "kibana\_system"
elasticsearch.password: "220054"
# 设置日志格式以及日志存放地址
logging.appenders.default:
  type: file
  fileName: /data/kibana/logs/kibana.log
  layout:
    type: json

(4) 将kibana加入systemctl

[root@kibana ~]# vim /usr/lib/systemd/system/kibana.service
[Unit]
Description=kibana
After=network.target

[Service]
Type=simple
# 此处需要写你自己kibana启动的用户
User=kibana
# 此处需要写你kibana启动执行文件存放的路径
ExecStart=/kibana-8.6.0/bin/kibana
PrivateTmp=true

[Install]
WantedBy=multi-user.target

(5) 启动Kibana

[root@kibana ~]# systemctl start kibana && systemctl enable kibana

(6) 在浏览器中访问 Kibana

访问地址：http://192.168.220.20:5601/
并输入elastic账号以及密码, 即你在elasticsearch初始化的账号密码

在这里插入图片描述

3、logstash

(1) 解压logstash压缩包

[root@kibana logstash]# ls
logstash-8.6.0-linux-x86_64.tar.gz
# 将logstash-8.6.0-linux-x86\_64.tar.gz解压到 / 目录下
[root@kibana logstash]# tar xf logstash-8.6.0-linux-x86\_64.tar.gz -C /

(2) 进行logstash测试，查看logstash服务功能运行是否正常

# 在/logstash-8.6.0/config/目录下创建logstash-test.conf配置文件
[root@kibana logstash-8.6.0]# vim config/logstash-test.conf
input {
  # 控制台输入
  stdin {
     id => "my\_plugin\_id"
  }
}

output {
   # 控制台输出
   stdout {
   }
}

# 执行logstash并指定上述配置文件


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
![img](https://img-blog.csdnimg.cn/img_convert/39cccdb208c1c8c8c7e8b052f3fd956b.png)
![img](https://img-blog.csdnimg.cn/img_convert/8b19d17a829e34078d818ebdf89277e3.png)
![img](https://img-blog.csdnimg.cn/img_convert/74b45704da80fe457ee7bb628563190c.png)
![img](https://img-blog.csdnimg.cn/img_convert/ea371ece79d3c876eed1612cb0d1250a.png)
![img](https://img-blog.csdnimg.cn/img_convert/6fada9f4865f51a5fabab4928450b058.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）**
![img](https://img-blog.csdnimg.cn/img_convert/e37bcffceb1ced13938b018b6e4c799e.jpeg)

图片转存中...(img-KMKqSlXb-1712659466589)]
[外链图片转存中...(img-1W1Gp33g-1712659466590)]
[外链图片转存中...(img-RTIPHqgx-1712659466590)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）**
[外链图片转存中...(img-lAYrg4Dx-1712659466590)]

2401_84166147

关注

7
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
ELK简介以及安装部署，2024年最新Linux运维开发还会吃香吗

(3) 创建elasticsearch数据以及日志所存放的目录(4) 配置集群间安全访问证书密钥(仅在elasticsearch-1节点上操作即可)(5) 将证书移至certs目录(仅在elasticsearch-1节点上操作即可)(6) 创建elasticsearch.keystore文件(仅在elasticsearch-1节点上操作即可)(7) 证书权限更新（所有的证书都必须是elastic权限）(8) elasticsearch配置文件修改。
复制链接

扫一扫