2024年小白实操ELK环境部署+监控nginx日志_两台机器搭建elk+nginx(1)，阿里P8架构师

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

useradd elasticsearch
chown -R elasticsearch.elasticsearch /usr/local/elasticsearch-6.2.3/
su - elasticsearch
cd /usr/local/elasticsearch-6.2.3/
./bin/elasticsearch -d

查看进程如果没有启动成功的话，可以查看日志/usr/local/elasticsearch-6.2.3/logs/elasticsearch.log

测试是否可以正常访问

也可以网页访问

配置logstash

收集nginx日志之使用grok过滤插件解析日志

grok作为一个logstash的过滤插件，支持根据模式解析文本日志行，拆成字段。

• nginx日志的配置：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

• logstash中grok的正则（添加在vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns文件中）为：

WZ ([^ ]*)
NGINXACCESS %{IP:remote_ip} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{WZ:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}

创建logstash配置文件

cat /usr/local/logstash-6.2.3/default.conf
input {
    beats {
        port => "5044"
    }
}
# 数据过滤
filter {
    grok {
        match => { "message" => "%{NGINXACCESS}" }
    }
    geoip {
        # nginx客户端ip
        source => "192.168.137.131"
    }
}
# 输出配置为本机的9200端口，这是ElasticSerach服务的监听端口
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
    }
}

1.后台启动logstash：nohup bin/logstash -f default.conf &

2.查看启动日志：tailf nohup.out

3.查看端口是否启动：netstat -napt|grep 5044

配置kibana

打开Kibana的配置文件/usr/local/kibana-6.2.3-linux-x86_64/config/kibana.yml，找到下面这行并修改：+

#server.host: "localhost"
修改为
server.host: "192.168.137.128"

这样其他电脑就能用浏览器访问Kibana的服务了；

2. 进入Kibana的目录：cd /usr/local/kibana-6.2.3-linux-x86_64

3. 执行启动命令：nohup bin/kibana &

4. 查看启动日志：tail -f nohup.out

5.查看端口是否启动：netstat -napt|grep 5601

测试：

在浏览器访问192.168.137.128:5601

到此。ELK部署完成

nginx客户端配置

下载nginx并解压到/usr/local/

wget http://nginx.org/en/download/nginx-1.12.2.tar.gz
tar xf ./nginx-1.12.2.tar.gz -C /usr/local/

安装

# 安装依赖包
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
# 编译安装
./configure --prefix=/usr/local/nginx --sbin-path=/usr/bin/nginx
make && make install

修改日志格式

vim /usr/local/nginx/conf/nginx.conf
# 写入以下内容
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

下载filebeat并解压到/usr/local/

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz
tar xf ./filebeat-6.2.3-linux-x86_64.tar.gz -C /usr/local/

打开文件/usr/local/filebeat-6.2.3-linux-x86_64/filebeat.yml，找到如下图的位置：

改成如下：

找到如下图位置：

改为如下：

找到如下图位置：

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取

合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化的资料的朋友，可以戳这里获取