ELK监控nginx日志，看完豁然开朗

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

user root;
worker_processes 4;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;

worker_rlimit_nofile 2048;

events {
use epoll;
worker_connections 2048;
}

include /opt/verynginx/verynginx/nginx_conf/in_external.conf;

http {
include mime.types;

default_type application/json;
client_max_body_size 200m;
client_header_buffer_size 50m;

large_client_header_buffers 4 50m;

log_format main escape=json ‘{“accessip_list”:“KaTeX parse error: Double superscript at position 34: …warded\_for",' '̲"remote\_addr":…remote_addr”,’
‘“http_host”:“KaTeX parse error: Double superscript at position 15: http\_host",' '̲"@timestamp":"time_iso8601”,’
‘“referer”:“KaTeX parse error: Double superscript at position 18: …tp\_referer",' '̲"scheme":"scheme”,’
‘“request”:“KaTeX parse error: Double superscript at position 12: request",' '̲"request\_heade…request_header”,’
‘“request_method”:“KaTeX parse error: Double superscript at position 20: …est\_method",' '̲"request\_time"…request_time”,’
‘“request_body”:“KaTeX parse error: Double superscript at position 18: …quest\_body",' '̲"server\_protoc…server_protocol”,’
‘“uri”:“KaTeX parse error: Double superscript at position 8: uri",' '̲"http\_host":"host”,’
‘“domain”:“KaTeX parse error: Double superscript at position 17: …erver\_name",' '̲"hostname":"hostname”,’
‘“status”:KaTeX parse error: Double superscript at position 10: status,' '̲"bytes":body_bytes_sent,’
‘“agent”:“KaTeX parse error: Double superscript at position 22: …user\_agent",' '̲"x\_forwarded":…http_x_forwarded_for”,’
‘“response_body”:“KaTeX parse error: Double superscript at position 19: …ponse\_body",' '̲"upstr\_addr":"upstream_addr”,’
‘“upstr_host”:“KaTeX parse error: Double superscript at position 25: …_http\_host",' '̲"ups\_resp\_tim…upstream_response_time” }’;

access_log logs/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;

lua_shared_dict shared_data 5m;
lua_shared_dict shared_server 5m;
lua_shared_dict locks 30m;
lua_shared_dict limit_counter 30m;

server {
listen 8999;
server_name 10.99.6.3;
#记录接口请求头
set $request_header “”;
header_filter_by_lua ’
local request_header_tab = ngx.req.get_headers()
local json = require “cjson”
ngx.var.request_header = json.encode(request_header_tab)
';

#记录接口请求返回值
lua_need_request_body on;
set $response_body “”;
body_filter_by_lua ’
local response_body = string.sub(ngx.arg[1], 1, 1000)
ngx.ctx.buffered = (ngx.ctx.buffered or “”) … response_body
if ngx.arg[2] then
ngx.var.response_body = ngx.ctx.buffered
end
';
location / {
proxy_pass http://localhost:1111;
}
}

}

Filebeat安装部署

下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-linux-x86_64.tar.gz

解压至指定目录

tar -zxvf filebeat-7.6.1-linux-x86_64.tar.gz -C /usr/local/

修改文件夹

cd /usr/local/
mv filebeat-7.6.1-linux-x86_64 filebeat-7.6.1
cd /usr/local/filebeat-7.6.1

修改配置文件，配置文件附于下方

vi filebeat.yml

先启动看看配置文件有没有问题

./filebeat -e -c filebeat.yml

无误后，后台启动，建议不要开启日志输出，如果业务量大的话，文件会非常大

nohup ./filebeat -e -c filebeat.yml >&/dev/null &

filebeat.yml

filebeat.inputs:

• type: log
  enabled: true
  paths:
• /usr/local/openresty-1.15/nginx/logs/access.log #日志目录的位置
  fields:
  log_topic: jszt-nginxaccess-log #插入到kafka那个topic
  filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  setup.template.settings:
  index.number_of_shards: 1
  setup.kibana:
  output.kafka:
  enabled: true
  hosts: [“10.99.6.4:9092”] # kafka的地址，多台可以用逗号隔开
  topic: ‘%{[fields.log_topic]}’
  partition.round_robin:
  reachable_only: true
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
  logging.level: debug
  processors:
• add_host_metadata: ~
• add_cloud_metadata: ~
• add_docker_metadata: ~
• add_kubernetes_metadata: ~

Elasticsearch安装

下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1-linux-x86_64.tar.gz

解压至指定目录

tar -zvxf elasticsearch-7.6.1.tar.gz -C /usr/local/

进入cofig目录

cd /usr/local/elasticsearch-7.6.1/config

修改配置文件,配置文件附于下方

vi elasticsearch.yml

修改jvm.options中jvm参数为你实际内存的一半大小,

vi jvm.options
-Xms512m
-Xmx512m

新增用户 es，用于启动

useradd es

修改es密码，会让你输入两次密码

passwd es

给es用户授权目录权限

chown -R es:es /usr/local/elasticsearch-7.6.1

切换用户启动

su - es
./bin/elasticsearch -d

es启动常见报错解决说明

1.max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
这个报错说明每个进程最大同时打开文件数太小，需修改/etc/security/limits.conf
vi /etc/security/limits.conf #增加如下配置，这样不影响其他用户
es soft nproc 65536
es hard nproc 65536
es soft nofile 65536
es hard nofile 65536
修改完毕后保存，重新登录就可以生效了。

2.max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
这个报错说明 vm 的启动内存太小，需修改/etc/sysctl.conf
vi /etc/sysctl.conf #在本文件最后增加如下配置
vm.max_map_count = 262144l
修改完毕后，使用下面命令生效
sysctl -p

elasticsearch.yml

cluster.name: elasticsearch # 集群名称
node.name: node-1 # 节点名称
node.max_local_storage_nodes: 2
network.host: 0.0.0.0
http.port: 9200 # 端口号
http.cors.enabled: true
http.cors.allow-origin: “*” #配置跨域
cluster.initial_master_nodes: [“node-1”]

Logstash安装

安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz

解压至指定目录

tar -zxvf logstash-7.6.1.tar.gz -C /usr/local/

进入配置目录

cd /usr/local/logstash-7.6.1/config

增加配置文件logstash.conf，文件附于下方

启动

cd /usr/local/logstash-7.6.1/
nohup ./bin/logstash -f config/logstash.conf > mylogstash.log &

logstash.conf

Sample Logstash configuration for creating a simple

Beats -> Logstash -> Elasticsearch pipeline.

input {
kafka {
bootstrap_servers => “10.99.6.4:9092” # kafka地址
topics => [“jszt-nginxaccess-log”] # 此处为fielbeat插入的topic
codec => json {
charset => “UTF-8”
}
add_field => { “[@metadata][myid]” => “jsztnginxaccess-log” }
}
}

filter {
if [@metadata][myid] == “jsztnginxaccess-log” {

此处可根据需要配置，这里我转义了一些url字符

mutate {
gsub => [“message”,“\x”,“\\x”]
gsub => [“message”,“%7B”,“{”]
gsub => [“message”,“%7D”,“}”]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
“,”%7B",“{”]
gsub => [“message”,“%7D”,“}”]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-tPEOsU4m-1713125660885)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！