linux安装配置ELK日志集群

最新推荐文章于 2024-01-30 15:25:08 发布
最新推荐文章于 2024-01-30 15:25:08 发布
阅读量289 收藏
点赞数 1
分类专栏： Linux 文章标签： linux elk elasticsearch 运维 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68170314/article/details/130519529
版权

linux安装配置ELK日志系统

文章目录

一、资源列表

主机名IP系统版本备注
elasticsearch-only10.0.13.72CentOS Linux release 7.5.1804 (Core)用于单机部署演示
elasticsearch-1 & kibana & logstash10.0.13.73CentOS Linux release 7.5.1804 (Core)用于es及ELK集群部署演示
elasticsearch-2 & filebeat10.0.13.75CentOS Linux release 7.5.1804 (Core)用于es及ELK集群部署演示
elasticsearch-3 & filebeat10.0.13.76CentOS Linux release 7.5.1804 (Core)用于es及ELK集群部署演示

1.结构图及说明

本次部署大致结构为:

需要被收集日志的服务器部署filebeat轻量级日志收集服务

filebeat收集本机日志将其发送到logstash的http端口

logstash再将收集来的日志output到es集群内，通过kibana展示出来

本集群未使用任意消息队列服务，如有需求可自行添加

在这里插入图片描述

filebeat收集到日志后，将把信息传输给logstash的input组件

input组件将收集来的信息交给filter进行格式化分析、过滤后将由output组件进行输出到elasticsearch集群的索引内，该索引名称可自定义

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0dHUY1cW-1683335752157)(https://zs-1316317342.cos.ap-shanghai.myqcloud.com/ELK-md/Logstash内部流程图.png)]

二、单机部署Elasticsearch

主机名IP系统版本
elasticsearch-only10.0.13.72CentOS Linux release 7.5.1804 (Core)

ES版本:elasticsearch-7.17.5-linux-x86_64

JDK版本:jdk-11.0.17_linux-x64

elasticsearch-7.17.5-linux-x86_64下载地址:

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.5-linux-x86_64.tar.gz

jdk-11.0.17_linux-x64下载地址-注意:jdk下载地址为官网下载，需点击进入下载:

Java Downloads | Oracle

若无法下载，可使用以下链接进行下载

elasticsearch-7.17.5-linux-x86_64下载地址:

链接：https://pan.baidu.com/s/17zUWRn3AExDAdQtkLGxZaQ?pwd=zska
提取码：zska

jdk-11.0.17_linux-x64下载地址:

链接：https://pan.baidu.com/s/1tXoFHrnI2Zd_pGXmVQhSCg?pwd=zska
提取码：zska

1.环境搭建

在部署elasticsearch前，首先需要对环境进行部署

1.1.JAVA环境部署

将jdk-11.0.17_linux-x64提前下载并上传至服务器

image-20221226140214687

#解压至/usr/local下，解压到哪里都可以，只要对应上后面的环境变量位置即可
tar -zxvf jdk-11.0.17_linux-x64_bin.tar.gz -C /usr/local
#切换工作目录至/usr/local下
cd /usr/local
#改名，方便后续操作
mv jdk-11.0.17/ java

image-20221226140203195

#编辑环境变量
cat >> /etc/profile << EOF
export LC_ALL="zh_CN.UTF-8"
export LANG="zh_CN.UTF-8"
export JAVA_HOME=/usr/local/java
export JRE_HOME=\${JAVA_HOME}
export CLASSPATH=.:\${JAVA_HOME}/lib:\${JRE_HOME}/lib
export PATH=\${JAVA_HOME}/bin:\$PATH
EOF
#使配置生效
source /etc/profile
#验证
java -version

image-20221226140152885

#若出现所有命令均不可使用情况，请使用以下命令解决
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
1.2.服务器环境配置

创建普通用户，及对应目录

#创建es的数据存储目录，建议选择较大盘
mkdir /data
#创建es用户并指定家目录
useradd es -d /data/es
  • 修改/etc/security/limits.conf
cat >> /etc/security/limits.conf << EOF
es soft nofile 65536 
es hard nofile 65536
* hard nproc 4096
EOF
#注： * 代表 Linux 所有用户名称
  • 修改/etc/security/limits.conf
cat >> /etc/sysctl.conf << EOF
vm.max_map_count=655360
EOF
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
  • 重新加载
sysctl -p

2.部署elasticsearch

在环境整体部署完成后即可开始进行服务的部署

2.1.解压软件
#回到root用户家目录
cd ~
#解压elasticsearch-7.17.5-linux-x86_64.tar.gz到/data/es，即es用户家目录
tar -zxvf elasticsearch-7.17.5-linux-x86_64.tar.gz -C /data/es
#切换进es用户的家目录
cd /data/es
#改名，方便后续操作
mv elasticsearch-7.17.5/ elasticsearch
#更改属主属组
chown -R es.es elasticsearch

image-20221226140133629

2.2.修改配置文件
#切换工作目录
cd /data/es/elasticsearch
#更改JVM配置文件,注意:实际需求大小根据情况而定，默认1g，我改为了4g
cat >> config/jvm.options << EOF
-Xms4g
-Xmx4g
EOF
#更改主配置文件，注意network.host默认只允许本机访问，修改为0.0.0.0后则所有IP来访问，根据实际情况指定，也可设置网段
#其中10.0.13.72为本机IP，操作时请改为自己使用的IP，各类配置请以实际需要调配，直接用此单机配置也可
cat >> config/elasticsearch.yml << EOF
cluster.name: utry-test
node.name: node-10.0.13.72
path.data: /data/es/elasticsearch/data
path.logs: /data/es/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.13.72"]
discovery.zen.minimum_master_nodes: 1
cluster.initial_master_nodes: ["10.0.13.72"]
http.cors.enabled: true
http.cors.allow-origin: "*"
script.allowed_types: inline
#fielddata 字段缓存达到 20%回收内存
indices.fielddata.cache.size: 20%
EOF

image-20221226140121997

2.3.启动
#修改配置文件后，切换es用户
su - es
#切换工作目录
cd elasticsearch/
#后天启动并查看日志,日志名称为cluster.name定义的名字
./bin/elasticsearch -d && tail -1000f logs/utry-test.log
#停止
for i in `ps -ef | grep elasticsearch | grep -v grep | awk '{print $2}'` ; do kill -9 $i ; done

image-20221226140109851

三、集群部署Elasticsearch

主机名IP系统版本
elasticsearch-110.0.13.73CentOS Linux release 7.5.1804 (Core)
elasticsearch-210.0.13.75CentOS Linux release 7.5.1804 (Core)
elasticsearch-310.0.13.76CentOS Linux release 7.5.1804 (Core)

ES版本:elasticsearch-7.17.5-linux-x86_64

JDK版本:jdk-11.0.17_linux-x64

elasticsearch-7.17.5-linux-x86_64下载地址:

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.5-linux-x86_64.tar.gz

jdk-11.0.17_linux-x64下载地址-注意:jdk下载地址为官网下载，需点击进入下载:

Java Downloads | Oracle

若无法下载，可使用以下链接进行下载

elasticsearch-7.17.5-linux-x86_64下载地址:

链接：https://pan.baidu.com/s/17zUWRn3AExDAdQtkLGxZaQ?pwd=zska
提取码：zska

jdk-11.0.17_linux-x64下载地址:

链接：https://pan.baidu.com/s/1tXoFHrnI2Zd_pGXmVQhSCg?pwd=zska
提取码：zska

1.环境部署

在部署elasticsearch前，首先需要对环境进行部署

注意 环境部署三台都需要执行

1.1.JAVA环境部署

将jdk-11.0.17_linux-x64提前下载并上传至服务器

image-20221226135748601

#解压至/usr/local下，解压到哪里都可以，只要对应上后面的环境变量位置即可
tar -zxvf jdk-11.0.17_linux-x64_bin.tar.gz -C /usr/local
#切换工作目录至/usr/local下
cd /usr/local
#改名，方便后续操作
mv jdk-11.0.17/ java

image-20221226135707811

#编辑环境变量
cat >> /etc/profile << EOF
export LC_ALL="zh_CN.UTF-8"
export LANG="zh_CN.UTF-8"
export JAVA_HOME=/usr/local/java
export JRE_HOME=\${JAVA_HOME}
export CLASSPATH=.:\${JAVA_HOME}/lib:\${JRE_HOME}/lib
export PATH=\${JAVA_HOME}/bin:\$PATH
EOF
#使配置生效
source /etc/profile
#验证
java -version

image-20221226135630432

#若出现所有命令均不可使用情况，请使用以下命令解决
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
1.2.服务器环境配置

创建普通用户，及对应目录

#创建es的数据存储目录，建议选择较大盘
mkdir /data
#创建es用户并指定家目录
useradd es -d /data/es

修改/etc/security/limits.conf

cat >> /etc/security/limits.conf << EOF
es soft nofile 65536 
es hard nofile 65536
* hard nproc 4096
EOF
#注： * 带表 Linux 所有用户名称

修改/etc/security/limits.conf

cat >> /etc/sysctl.conf << EOF
vm.max_map_count=655360
EOF

# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536

重新加载

sysctl -p

2.部署elasticsearch

在环境整体部署完成之后，可以进行elasticsearch的部署

2.1.解压软件
#以下操作三台都执行
#回到root用户家目录
cd ~
#解压elasticsearch-7.17.5-linux-x86_64.tar.gz到/data/es，即es用户家目录，尽量解压到磁盘空间分配较大目录
tar -zxvf elasticsearch-7.17.5-linux-x86_64.tar.gz -C /data/es
#切换进es用户的家目录
cd /data/es
#改名，方便后续操作
mv elasticsearch-7.17.5/ elasticsearch
#更改属主属组
chown -R es.es elasticsearch

image-20221226141209168

2.2.修改配置文件
  • elasticsearch-1执行操作
#切换工作目录
cd /data/es/elasticsearch
#更改JVM配置文件,注意:实际需求大小根据情况而定，默认1g，我改为了4g
cat >> config/jvm.options << EOF
-Xms4g
-Xmx4g
EOF
#更改主配置文件，注意network.host默认只允许本机访问，修改为0.0.0.0后则所有IP来访问，根据实际情况指定，也可设置网段
#其中10.0.13.73为本机IP，操作时请改为自己使用的IP，各类配置请以实际需要调配，直接用此单机配置也可
cat >> config/elasticsearch.yml << EOF
cluster.name: my_es
node.name: node-10.0.13.73
path.data: /data/es/elasticsearch/data
path.logs: /data/es/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.13.73","10.0.13.75","10.0.13.76"]
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["10.0.13.73"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
script.allowed_types: inline
#fielddata 字段缓存达到 20%回收内存
indices.fielddata.cache.size: 20%
EOF

image-20221226142240206

  • elasticsearch-2执行操作
#切换工作目录
cd /data/es/elasticsearch
#更改JVM配置文件,注意:实际需求大小根据情况而定，默认1g，我改为了4g
cat >> config/jvm.options << EOF
-Xms4g
-Xmx4g
EOF
#更改主配置文件，注意network.host默认只允许本机访问，修改为0.0.0.0后则所有IP来访问，根据实际情况指定，也可设置网段
#其中10.0.13.73为本机IP，操作时请改为自己使用的IP，各类配置请以实际需要调配，直接用此单机配置也可
cat >> config/elasticsearch.yml << EOF
cluster.name: my_es
node.name: node-10.0.13.75
path.data: /data/es/elasticsearch/data
path.logs: /data/es/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.13.73","10.0.13.75","10.0.13.76"]
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["10.0.13.73"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
script.allowed_types: inline
#fielddata 字段缓存达到 20%回收内存
indices.fielddata.cache.size: 20%
EOF
  • elasticsearch-3执行操作
#切换工作目录
cd /data/es/elasticsearch
#更改JVM配置文件,注意:实际需求大小根据情况而定，默认1g，我改为了4g
cat >> config/jvm.options << EOF
-Xms4g
-Xmx4g
EOF
#更改主配置文件，注意network.host默认只允许本机访问，修改为0.0.0.0后则所有IP来访问，根据实际情况指定，也可设置网段
#其中10.0.13.73为本机IP，操作时请改为自己使用的IP，各类配置请以实际需要调配，直接用此单机配置也可
cat >> config/elasticsearch.yml << EOF
cluster.name: my_es
node.name: node-10.0.13.76
path.data: /data/es/elasticsearch/data
path.logs: /data/es/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.0.13.73","10.0.13.75","10.0.13.76"]
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["10.0.13.73"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
script.allowed_types: inline
#fielddata 字段缓存达到 20%回收内存
indices.fielddata.cache.size: 20%
EOF
2.3.启动

三台一起执行，一起启动

#修改配置文件后，切换es用户
su - es
#切换工作目录
cd elasticsearch/
#后天启动并查看日志,日志名称为cluster.name定义的名字
./bin/elasticsearch -d && tail -1000f logs/my_es.log
#停止
for i in `ps -ef | grep elasticsearch | grep -v grep | awk '{print $2}'` ; do kill -9 $i ; done
  • elasticsearch-1:

image-20221226143421543

  • elasticsearch-2:

image-20221226143437196

  • elasticsearch-3:

image-20221226143505838

#启动完成后，进行访问测试
curl http://10.0.13.73:9200/_cat/health?v

可以看到集群状态为green，node节点有三台，是健康的状态

image-20221226143730719

四、部署IK分词器插件(扩展)

IK分词器是ES的一个插件，主要用于把一段中文或者英文的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作，分词器的版本要与elasticsearch的版本对应

IK分词器版本:elasticsearch-analysis-ik-7.17.5

elasticsearch-analysis-ik-7.17.5官网下载地址:

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip

若无法下载，可使用以下链接进行下载

elasticsearch-analysis-ik-7.17.5下载地址:

链接：https://pan.baidu.com/s/1RH0HnZKVnGe7QwrTPZ_CCA?pwd=zska
提取码：zska

1.安装服务

将elasticsearch-analysis-ik-7.17.5.zip上传至服务器，集群需要同时上传

image-20230310102835687 
#创建IK目录
mkdir -p /data/es/elasticsearch/plugins/ik
#转移服务至指定目录
cp elasticsearch-analysis-ik-7.17.5.zip /data/es/elasticsearch/plugins/ik
#切换目录
cd /data/es/elasticsearch/plugins/ik
#解压
unzip elasticsearch-analysis-ik-7.17.5.zip

image-20230310103126081

#重启es服务，读取IK
#停止es服务
for i in `ps -ef | grep elasticsearch | grep -v grep | awk '{print $2}'` ; do echo "$i killd" ; kill $i ; done
#启动服务
#切换es用户
su - es
#切换目录
cd elasticsearch/
#启动服务
./bin/elasticsearch -d && tail -100f logs/utry-test.log

日志内会有如下图这条报错

image-20230310103603526

实际上这个报错并不影响什么，只是es启动时会去更新地图的一些数据库，不想看到可以按照以下操作直接禁掉

#编辑配置
echo 'ingest.geoip.downloader.enabled: false' >> /data/es//elasticsearch/config/elasticsearch.yml
#再次重启
#停止es服务
for i in `ps -ef | grep elasticsearch | grep -v grep | awk '{print $2}'` ; do echo "$i killd" ; kill $i ; done
#启动服务
#切换es用户
su - es
#切换目录
cd elasticsearch/
#启动服务
./bin/elasticsearch -d && tail -100f logs/utry-test.log

image-20230310104017002

五、部署Eshead插件(扩展)

部署完单机或集群elasticsearch后，即可部署eshead用于集群/单机的查看及操作

集群版部署在一台上就好，一般部署在master上

1.解压软件

#查看下载软件是否存在
rpm -qa | grep wget
#不存在则下载
yum -y install wget
#安装包
wget https://npm.taobao.org/mirrors/node/v8.1.0/node-v8.1.0-linux-x64.tar.gz
#解压
tar -zxvf node-v8.1.0-linux-x64.tar.gz -C /data/
#切换工作目录
cd /data
#改名方便后续操作（可跳过）
mv node-v8.1.0-linux-x64 node

image-20221226140058900

image-20221226140049985

2.环境配置

#创建软链
ln -s /data/node/lib/node_modules/npm/bin/npm-cli.js /usr/local/bin/npm
ln -s /data/node/bin/node /usr/local/bin/node
#修改环境变量
cat >> /etc/profile << EOF

export NODE_HOME=/data/node
export PATH=:\$PATH:\$NODE_HOME/bin
EOF
#使更改生效
source /etcd/profile
#验证
node -v
npm -v

image-20221226140029954

3.服务安装

eshead可在线安装也可离线安装，网速慢则不推荐在线安装

3.1.在线安装
#在线安装，需先安装依赖包
yum -y install gcc-c++ make git
#切换工作目录
cd /data/node
#克隆编译包，速度与网速有关，且访问网站为github
git clone https://github.com/mobz/elasticsearch-head.git
#切换工作目录
cd /data/node/elasticsearch-head
#安装，最后的报错信息可忽略
npm install
#修改配置文件
vim Gruntfile.js
#用/搜索9100，找到connect中的options配置块，添加hostname配置项，hostname后跟本机IP即可，添加完成即可保存退出

image-20221226140019204

#修改app.js
cd /data/node/_site
vim app.js
#使用/匹配app-base_uri，点击n查找下一个找到http://localhost:9200修改为es配置文件中定义的node名称即可，我的叫node-10.0.13.72
#修改前:http://localhost:9200
#修改后:http://node-10.0.13.72:9200

image-20221226140008226

#启动方式，无需es用户
cd /data/node/elasticsearch-head/node_modules/grunt/bin
nohup ./grunt server >/dev/null 2>&1 &
#查看9100端口是否运行
ss -antpl | grep 9100
#停止方法,使用ss命令过滤出9100端口信息，awk过滤出pid交给传参使用kill杀死进程
ss -antpl | grep 9100 | awk '{print $NF}' | awk -F',' '{print $2}' | awk -F'=' '{print $2}' | xargs -i kill -9 {}
#前端访问测试，浏览器访问10.0.13.72:9100

image-20221226135956782

注意显示未连接是因为http栏内，10.0.13.72是无法解析node-10.0.13.72这个域名是指向谁的，所以无法连接

解决方案有三种：

  • 手动将http栏内修改为对应IP地址+port
  • 修改后台app.js文件为对应IP+port
  • 给10.0.13.72服务器做本地解析，将node-10.0.13.72这个域名指向10.0.13.72即可

这是正常后的样子

image-20221226135943801

3.2.离线安装

eshead的第二种安装方式-离线安装（推荐使用）

安装方式为:直接使用提供的编译之后的源码包解压之后修改配置文件即可

资源包地址:

链接：https://pan.baidu.com/s/1X_6I4nzFA8A4UFIcZvEBJg?pwd=zska
提取码：zska

将下载好的压缩包上传至服务器

image-20221226135932442

#解压到/data目录下
tar -zxvf elasticsearch-head-compile-after.tar.gz -C /data/
#切换工作目录
cd /data/elasticsearch-head
#编辑配置文件
vim Gruntfile.js
#用/搜索9100，找到connect中的options配置块，添加hostname配置项，hostname后跟本机IP即可，添加完成即可保存退出

image-20221226135922208

#修改app.js
cd /data/elasticsearch-head/_site
vim app.js
#使用/匹配app-base_uri，点击n查找下一个找到http://localhost:9200修改为es配置文件中定义的node名称即可，我的叫node-10.0.13.72
#修改前:http://localhost:9200
#修改后:http://node-10.0.13.72:9200

image-20221226135911319

#启动方式，无需es用户
cd /data/elasticsearch-head/node_modules/grunt/bin
nohup ./grunt server >/dev/null 2>&1 &
#查看9100端口是否运行
ss -antpl | grep 9100
#停止方法,使用ss命令过滤出9100端口信息，awk过滤出pid交给传参使用kill杀死进程
ss -antpl | grep 9100 | awk '{print $NF}' | awk -F',' '{print $2}' | awk -F'=' '{print $2}' | xargs -i kill -9 {}
#前端访问测试，浏览器访问10.0.13.72:9100

image-20221226135834372

注意显示未连接是因为http栏内，10.0.13.72是无法解析node-10.0.13.72这个域名是指向谁的，所以无法连接

解决方案有三种：

  • 手动将http栏内修改为对应IP地址+port
  • 修改后台app.js文件为对应IP+port
  • 给10.0.13.72服务器做本地解析，将node-10.0.13.72这个域名指向10.0.13.72即可
  • 单机:

image-20221226135812335

  • 集群:

image-20221226144727118

六、部署kibana

主机名IP系统版本
elasticsearch-110.0.13.73CentOS Linux release 7.5.1804 (Core)

集群部署一台即可

kibana版本: kibana-7.17.5-linux-x86_64（与es版本对应）

下载地址为:https://artifacts.elastic.co/downloads/kibana/kibana-7.17.5-linux-x86_64.tar.gz

下载失败则使用以下下载地址:

链接：https://pan.baidu.com/s/1MgPfnAG0f2XoAajH70ycAA?pwd=zska
提取码：zska

1.解压软件

#解压到/data/es目录也就是es用户的家目录内
tar -zxvf kibana-7.17.5-linux-x86_64.tar.gz -C /data/es/
#切换工作目录
cd /data/es
#改名，方便后续操作
mv kibana-7.17.5/ kibana
#更改用户权限
chown -R es.es kibana/

image-20221226151623002

2.修改配置文件

#切换工作目录
cd /data/es/kibana
#将server.host参数后改为本机IP
#改之前:# server.host: "localhost"
#改之后:server.host: "10.0.13.73"

image-20221226152110096

#使用/检索elasticsearch.host，集群填写master的地址即可
改之前:#elasticsearch.hosts: ["http://localhost:9200"]
改之后:elasticsearch.hosts: ["http://10.0.13.73:9200"]

image-20221226152255477

#使用/检索locale，修改为zh-CN即可
改之前:# i18n.locale: "en"
改之后:i18n.locale: "zh-CN"

image-20221226155145563

改完保存退出即可，注意10.0.13.73为本机IP

3.启动及停止

#切换用户
su - es
#切换工作目录
cd /data/es/kibana
#启动
nohup bin/kibana >/dev/null 2>&1 &
#停止方法，首先使用ps过滤出node进程的pid
ps -ef | grep node
#再使用kill命令，停止该进程
kill -9 <pid>
#推荐使用ss命令查看对应端口信息及pid进行kill
ss -antpl | grep 5601 | awk '{print $NF}' | awk -F',' '{print $2}' | awk -F'=' '{print $2}' | xargs -i kill -9 {}

image-20221226152935842

4.访问测试

访问本机IP:5601

image-20221226155526552

七、部署logstash

主机名IP系统版本
elasticsearch-110.0.13.73CentOS Linux release 7.5.1804 (Core)

集群部署一台即可

logstash版本信息为: logstash-7.17.5-linux-x86_64

官网下载地址为: https://artifacts.elastic.co/downloads/logstash/logstash-7.17.5-linux-x86_64.tar.gz

若下载失败请使用以下地址下载:

链接：https://pan.baidu.com/s/1zgg6Xhb9rfvR2YHZV8qL2w?pwd=zska
提取码：zska

1.解压软件

#解压至/data/es下，也就是es用户的家目录
tar -zxvf logstash-7.17.5-linux-x86_64.tar.gz -C /data/es/
#切换工作目录
cd /data/es
#改名，方便后续操作
mv logstash-7.17.5/ logstash
#制作软链
ln -s /data/es/logstash/bin/logstash /usr/local/bin/logstash

2.安装grok组件

logstash的grok的功能支持将非格式化的数据采集成格式化数据。

有对采集数据进行分析，过滤的需求可以进行下载，否则则可以跳过

2.1在线安装

在线安装方式网速较慢不推荐使用

#切换工作目录
cd /data/es/logstash
#编辑下载源
#改之前: source "https://rubygems.org"
#改之后: source "https://gems.ruby-china.com/"
#镜像源不一定哪个好使，推荐多试几个
cd /data/es/logstash
bin/logstash-plugin install logstash-filter-grok

image-20221227100021619

看到successful即代表下载成功

image-20221227100219185

八、部署filebeat

需要被采集数据服务器，采用filebeat服务来收集数据并发送到logstash服务器，再由logstash输出到elasticsearch集群内。

1.下载并解压

filebeat部署在需要被采集日志的服务器内，用于采集本机日志发送到logstash服务器

filebeat官网下载地址，根据elasticsearch及logstash的版本下载对应的版本即可

filebeat版本信息

filebeat-7.17.5-linux-x86_64

下载地址:

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.5-linux-x86_64.tar.gz

若以上不可用时，使用以下链接下载:

链接：https://pan.baidu.com/s/1ji0x66_Kb-jxsYV6Rv9eJA?pwd=zska
提取码：zska

#解压到/data/es下，即es用户的家目录，或自定义目录即可
tar -zxvf filebeat-7.17.5-linux-x86_64.tar.gz -C /data/es/
#切换工作目录
cd /data/es
#改名，方便后续操作
mv filebeat-7.17.5-linux-x86_64/ filebeat

九、配置ELK

将所有需要使用到的服务部署完成以后

即可开始将这些服务关联起来

接下来将对logstash及filebeat进行基础的配置

1.配置并启动filebeat

#切换工作目录
cd /data/es/filebeat
#备份配置文件
mv filebeat.yml filebeat.yml_bak
#编辑配置文件
vim filebeat.yml
#添加以下内容,path后跟的是日志文件的绝对路径，output下的地址为logstash的地址，改为自己的IP即可
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
 
output.logstash:
  hosts: ["10.0.13.73:5044"]

#启动filebeat,后台启动
nohup ./filebeat &
#在默认的情况下，filebeat 会自动寻找定义在 filebeat.yml 文件里的配置。如果我们的配置文件是另外的名字，我们可以通过如下的命令来执行 filebeat:
nohup ./filebeat -c YourYmlFile.yml &
#可以通过查看filebeat的日志查看服务是否启动成功
tail -1000f logs/filebeat
#停止后台启动filebeat方法,前台启动直接ctrl + c，或ctrl + z 后执行 kill -9 %1
ps -ef | grep -w filebeat | grep -v grep | awk '{print $2}' | xargs -i kill -9 {}

2.配置logstash

回到logstash服务器，对logstash服务进行配置，将从filebeat收集来的数据输出到elasticsearch集群

#切换工作目录
cd /data/es/logstash/config
#编辑配置文件,文件名自取即可
vim filebeat.conf
#添加以下内容，output配置栏内的hosts记得改为自己真实的elasticsearrch单机/集群地址
#我的filter配置是针对于nginx做的格式化，如果你使用的是别的日志，请按照个人喜好进行格式化
input {
   beats {
           port => 5044
        }
}

filter {
        grok {
                match => [
                        "message" => "%{IPORHOST:clientip} \- \- \[%{HTTPDATE:time_local}\] \"(?:%{WORD:method} %{NOTSPACE:request}(?:HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:status} %{NUMBER:body_bytes_sent} %{QS:http_referer}"
                ]
        }

        date  {
                match => ["timestamp_string", "ISO8601"]
        }

}

output {

        elasticsearch {
                hosts => ["http://10.0.13.73:9200","http://10.0.13.75:9200","http://10.0.13.76:9200"]
                index => "logstash-%{+YYYY.MM.dd}"
                action => "index"
        }

        stdout {
                codec => rubydebug
        }
}
#检测配置文件是否合法logstash
logstash -f filebeat.conf -t

image-20221228135708798

#如图即代表检测合法，开始启动
logstash -f filebeat.conf
#后台启动
nohup logstash -f filebeat.conf &
#停止后台启动logstash方法，前台启动直接ctrl + c，或ctrl + z后执行kill -9 %1
ps -ef | grep -w logstash | grep -v grep | awk '{print $2}' | xargs -i kill -9 {}

如图代表启动完成，5044监听端口已经启动，接下来可以启动服务查看是否能够正常接受日志

image-20221228135901764

可以看到日志接受正常，接下来访问eshead查看数据是否输出到es集群

image-20221228140908646

我当前编写本文档的时间为2022.12.28，所以索引的名称为:logstash-2022.12.28

image-20221228141348402

查看数据后，发现产生数据与终端显示无差别，代表我们搜集日志成功了

image-20221228141450403

3.配置kibana

再进行完以上的测试之后即可开始将传输来的数据进行页面上的展示

  • 登录kibana页面:kibanaIP:5601,并点击左选项栏的Stack Management

image-20221228150213260

  • 点击 < 索引模式>

image-20221228150246974

  • 点击创建索引模式

image-20221228150307307

  • 名称栏填写 logstash*，这样就可以匹配所有以logstash开头的索引，时间戳字段选择 ‘我不想使用时间筛选’ 根据个人情况决定 而这些索引库存储的都是我们传输的日志信息，如果你得logstash定义的索引库名称不是以logstash开头，请以实际为准，截图显示已存在是因为我已经创建过了，输入完成后点击 创建索引模式即可

image-20221228150516120

  • 回到首页点击Discover，选择准确的时间段，即可查看索引库内的信息

image-20221228150820275

  • 点击文档的下展符号即可查看文档信息的详细内容

image-20221228150913701

至此ELK基础配置完成，kibana支持各类视图分析，可以自己研究一下，但关于日志实际用途不大

请你是海
关注
专栏目录
Linux下搭建ELK集群
mada26
11-15 447
搭建说明： 1：该安装步骤使用的是work用户（非root用户）安装，root用户安装会有问题，需另外创建非root用户再安装。 搭建步骤： 1.安装jdk1.8 https://blog.csdn.net/mada26/article/details/85322131 2.安装elasticsearch-2.4.6.tar.gz cd /opt/sof......
在windows和Linux操作系统中部署ELK集群收集日志
weixin_70998962的博客
12-12 732
在linux、windows系统安装ELK，进行日志收集
linux————ELK（日志收集系统集群）
a872182042的博客
08-30 2371
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
在linux系统下ELK集群的搭建
sun_0128的博客
06-19 2598
文章目录一.复制虚拟机(保证要复制的虚拟机处于关闭状态)二.原虚拟机和复制后的虚拟机之间配置免密登录三.配置elasticsearch集群1)原虚拟机配置修改2)复制后虚拟机配置修改3)测试集群 一.复制虚拟机(保证要复制的虚拟机处于关闭状态) 前情提要:在上次ELK环境配置基础上(链接如下),搭建ELK集群 ELK环境搭配 1.复制虚拟机–>选择专家模式,副本类型选择完全复制,备份选择当前虚拟电脑状态,勾选重新初始化所有网卡的MAC地址,如下图: 2.修改静态ip地址,一般来说会与原虚拟机的ip
Linux搭建ELK日志分析系统
m0_61418822的博客
04-19 444
操作系统：本次搭建使用CentOS或Amazon linux等可以使用rpm命令的操作系统，使用其他操作系统在某些步骤进行适配性修改即可版本信息：ElasticSearch 6.8.10、Kibana 6.8.10。
elk安装环境搭建（集群）
08-24
elk安装环境搭建（集群）
ELK日志分析集群部署
wwwu1998的博客
07-13 769
ELK日志分析集群部署
ELK集群搭建(基础教程)
最新发布
lqcbj的博客
01-30 2827
ELK集群搭建(基础教程) 目录： 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka（注：每个节点都配置，注意ip不同） 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志
Linux企业运维——ELK日志分析平台（上）安装与配置、ES图形化管理插件
weixin_44310047的博客
03-07 2676
Linux企业运维——ELK日志分析平台 文章目录Linux企业运维——ELK日志分析平台1、ELK简介2、ELK的安装与配置3、ELK集群搭建4、elasticsearch可视化4.1、cerebro插件4.2、elasticsearch-head插件 1、ELK简介 Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。 为了解决Lucene使用时的繁复性，于是Elasticsearch便应运而生。它使用 Java 编写，内部采用 Lu
Elastic stack 技术栈学习（二）—— Linux（Centos系统） 搭建日志采集服务器ELK
qq_44886213的博客
11-07 3527
一、前言 1.目的 采集Windows系统上的日志。 日志都分散在各个生产服务器，且开发人员无法登陆生产服务器，这时候就需要一个集中式的日志收集装置，对日志中的关键字进行监控，触发异常时进行报警，并且开发人员能够查看相关日志 2.ELK ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一个搜索和分析引擎。 Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如
Linux搭建ELK日志收集系统构建：Filebeat+Redis+Logstash+Elasticse
play_big_knife的博客
12-19 1959
Linux搭建ELK日志收集系统构建，通过filebeat收集日志，通过redis进行去重，接下来通过logstash下沉到elasticsearch中，elasticsearch中的数据也可以通过kibana进行可视化分析。这里主要介绍如何搭建这样的环境架构。
ELK集群部署(史上超详细)
REEB00T
12-01 3448
ELK集群部署(史上超详细)
Linux下安装ElasticSearch集群
若兰幽竹
03-22 691
Linux下安装ElasticSearch集群一、环境说明二、安装步骤 一、环境说明 虚拟机名称 节点名称 内存及说明 hadoop002 node-1 2G 默认配置其为【Master】 hadoop003 node-2 2G Node节点1 hadoop004 node-3 2G Node节点1 软件 版本 说明 JDK 1.8+ es 高版本以后需要Java11 elasticsearch 7.8.0 当前最新版本为8.1 官网地址 二、安装
ELK集群安装
weixin_41760409的博客
02-14 1222
ELK集群安装 文章目录ELK集群安装1.1 说明1.1.1 前言1.1.2 ELK日志分析系统简介1.1.3 ELK优势1.1.4 完整日志系统基本特征1.2 安装 Elasticsearch1.2.1 下载及安装1.2.2 修改配置文件1.2.3 修改系统参数1.3 安装Elasticsearch-head插件1.3.1 前言1.3.2 安装Node-v81.3.3 安装Phantomjs1.3.4 安装Elasticsearch-head插件1.3.5 修改elasticsearch主配置文件并重启e
Centos7 安装ELK/EFK 7.x 集群搭建实战攻略
极客星云-CSDN博客
04-25 4272
Centos7 安装ELK/EFK 7.x 集群搭建实战攻略
Linux搭建ELK集群——史上最详细的图文详情
AloneCoding的博客
06-19 765
前期准备 搭建好一台ELK虚拟机，博主前面博客有详细的搭建过程，大家可以去参考搭建一下 本次ELK集群的搭建是在我之前博客搭建的ELK环境基础上搭建的 复制多个虚拟机 修改复制的虚拟机ip地址和主机名（将ip地址和主机名改为和主机列表一致的内容） vi /etc/systconfig/network-scripts/ifcfg-enp0s3 vi /etc/hostname 将三个虚拟机都连接到moba 将三个虚拟机分别设置免密登录` ssh-keygen -t rsa -P "" 将三个虚拟机
Linux安装搭建ELK集群
我玩的很开心的博客
06-18 1829
Linux安装ELK 一、ES简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 特点是：高可用，高扩展，是一种NOSQL的数据存储工具 二、ES安装前的准备(elk安装包版本要求一致) 下载安装包： elasticsearch-6.2.2.tar.gz elasticsearch-head-master.zip kibana-6.2.2-linux-x86_64.tar.gz logstash-6.2.2.tar.gz node-v8.9.1-l
Linux环境下ELK日志管理平台详细部署指南
"ELK日志管理平台部署手册提供了在Linux环境下部署Elasticsearch、Logstash和Kibana的详细步骤，旨在实现高效、集中化的日志管理和分析。" ELK（Elasticsearch、Logstash、Kibana）日志管理平台是一个广泛使用的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值