ELK监控nginx日志，2024年最新每个程序员都必须掌握的8种数据结构-CSDN博客

本文链接：https://blog.csdn.net/2401_84266249/article/details/137850617

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

‘“uri”:“ $KaTeX parse error: Double superscript at position 8: uri",' '̲"http\_host":"$ host”,’
‘“domain”:“ $KaTeX parse error: Double superscript at position 17: …erver\_name",' '̲"hostname":"$ hostname”,’
‘“status”: $KaTeX parse error: Double superscript at position 10: status,' '̲"bytes":$ body_bytes_sent,’
‘“agent”:“ $KaTeX parse error: Double superscript at position 22: …user\_agent",' '̲"x\_forwarded":…$ http_x_forwarded_for”,’
‘“response_body”:“ $KaTeX parse error: Double superscript at position 19: …ponse\_body",' '̲"upstr\_addr":"$ upstream_addr”,’
‘“upstr_host”:“ $KaTeX parse error: Double superscript at position 25: …_http\_host",' '̲"ups\_resp\_tim…$ upstream_response_time” }’;

access_log logs/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;

lua_shared_dict shared_data 5m;
lua_shared_dict shared_server 5m;
lua_shared_dict locks 30m;
lua_shared_dict limit_counter 30m;

server {
listen 8999;
server_name 10.99.6.3;
#记录接口请求头
set $request_header “”;
header_filter_by_lua ’
local request_header_tab = ngx.req.get_headers()
local json = require “cjson”
ngx.var.request_header = json.encode(request_header_tab)
';

#记录接口请求返回值
lua_need_request_body on;
set $response_body “”;
body_filter_by_lua ’
local response_body = string.sub(ngx.arg[1], 1, 1000)
ngx.ctx.buffered = (ngx.ctx.buffered or “”) … response_body
if ngx.arg[2] then
ngx.var.response_body = ngx.ctx.buffered
end
';
location / {
proxy_pass http://localhost:1111;
}
}

}

Filebeat安装部署

下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-linux-x86_64.tar.gz

解压至指定目录

tar -zxvf filebeat-7.6.1-linux-x86_64.tar.gz -C /usr/local/

修改文件夹

cd /usr/local/
mv filebeat-7.6.1-linux-x86_64 filebeat-7.6.1
cd /usr/local/filebeat-7.6.1

修改配置文件，配置文件附于下方

vi filebeat.yml

先启动看看配置文件有没有问题

./filebeat -e -c filebeat.yml

无误后，后台启动，建议不要开启日志输出，如果业务量大的话，文件会非常大

nohup ./filebeat -e -c filebeat.yml >&/dev/null &

filebeat.yml

filebeat.inputs:

type: log
enabled: true
paths:
/usr/local/openresty-1.15/nginx/logs/access.log #日志目录的位置
fields:
log_topic: jszt-nginxaccess-log #插入到kafka那个topic
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 1
setup.kibana:
output.kafka:
enabled: true
hosts: [“10.99.6.4:9092”] # kafka的地址，多台可以用逗号隔开
topic: ‘%{[fields.log_topic]}’
partition.round_robin:
reachable_only: true
required_acks: 1
compression: gzip
max_message_bytes: 1000000
logging.level: debug
processors:
add_host_metadata: ~
add_cloud_metadata: ~
add_docker_metadata: ~
add_kubernetes_metadata: ~

Elasticsearch安装

下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1-linux-x86_64.tar.gz

解压至指定目录

tar -zvxf elasticsearch-7.6.1.tar.gz -C /usr/local/

进入cofig目录

cd /usr/local/elasticsearch-7.6.1/config

修改配置文件,配置文件附于下方

vi elasticsearch.yml

修改jvm.options中jvm参数为你实际内存的一半大小,

vi jvm.options
-Xms512m
-Xmx512m

新增用户 es，用于启动

useradd es

修改es密码，会让你输入两次密码

passwd es

给es用户授权目录权限

chown -R es:es /usr/local/elasticsearch-7.6.1

切换用户启动

su - es
./bin/elasticsearch -d

es启动常见报错解决说明

1.max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
这个报错说明每个进程最大同时打开文件数太小，需修改/etc/security/limits.conf
vi /etc/security/limits.conf #增加如下配置，这样不影响其他用户
es soft nproc 65536
es hard nproc 65536
es soft nofile 65536
es hard nofile 65536
修改完毕后保存，重新登录就可以生效了。

2.max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
这个报错说明 vm 的启动内存太小，需修改/etc/sysctl.conf
vi /etc/sysctl.conf #在本文件最后增加如下配置
vm.max_map_count = 262144l
修改完毕后，使用下面命令生效
sysctl -p

elasticsearch.yml

cluster.name: elasticsearch # 集群名称
node.name: node-1 # 节点名称
node.max_local_storage_nodes: 2
network.host: 0.0.0.0
http.port: 9200 # 端口号
http.cors.enabled: true
http.cors.allow-origin: “*” #配置跨域
cluster.initial_master_nodes: [“node-1”]

Logstash安装

安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz

解压至指定目录

tar -zxvf logstash-7.6.1.tar.gz -C /usr/local/

进入配置目录

cd /usr/local/logstash-7.6.1/config

增加配置文件logstash.conf，文件附于下方

启动

cd /usr/local/logstash-7.6.1/
nohup ./bin/logstash -f config/logstash.conf > mylogstash.log &

logstash.conf

Sample Logstash configuration for creating a simple

Beats -> Logstash -> Elasticsearch pipeline.

input {
kafka {
bootstrap_servers => “10.99.6.4:9092” # kafka地址
topics => [“jszt-nginxaccess-log”] # 此处为fielbeat插入的topic
codec => json {
charset => “UTF-8”
}
add_field => { “[@metadata][myid]” => “jsztnginxaccess-log” }
}
}

filter {
if [@metadata][myid] == “jsztnginxaccess-log” {

此处可根据需要配置，这里我转义了一些url字符

mutate {
gsub => [“message”,“\x”,“\\x”]
gsub => [“message”,“%7B”,“{”]
gsub => [“message”,“%7D”,“}”]
gsub => [“message”,“%22”,‘"’]
gsub => [“message”,“%3A”,“:”]
gsub => [“message”,“%2C”,“,”]
gsub => [“message”,‘\n’,‘’]
gsub => [“message”,‘\r’,‘’]

}
json {
source => “message”
remove_field => “prospector”
remove_field => “beat”
remove_field => “source”
remove_field => “input”
remove_field => “offset”
remove_field => “fields”
remove_field => “host”
remove_field => “@version”
remove_field => “message”
}

这里我移除了请求头里我不需要的参数

json {
source => “request_header”
remove_field => “host”
remove_field => “content-type”
remove_field => “connection”
remove_field => “accept”
remove_field => “content-length”
remove_field => “accept-encoding”
remove_field => “user-agent”
remove_field => “accept-language”
remove_field => “referer”
remove_field => “x-requested-with”
remove_field => “origin”
remove_field => “cookie”
}

这里我根据不同的url解析不同的body体

if [uri] == “/app-web/personal/public/gjjdkjbxxcx.service” {
json {
source => “request_body”
remove_field => “appid”
remove_field => “sign”
remove_field => “bizNo”

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）