［日志分析］在nginx日志中，提取有效的request uri

最新推荐文章于 2023-12-29 12:30:23 发布

Lesley dude

最新推荐文章于 2023-12-29 12:30:23 发布

阅读量2.7k

点赞数

分类专栏： MapReduce 文章标签： top10 nginx 访问量 python

本文链接：https://blog.csdn.net/aFeiOnePiece/article/details/47184049

版权

MapReduce 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

最近在做公司的nginx log分析，其中一个需求是提取这个月每天被访问Top10的页面，及其访问量。

做这个需求，首先要清洗出有效的页面访问。我采用排除法，去掉 .js .css之类的访问。但最初，我并不能全面的了解要去掉带有哪些后缀的request。

经过清洗 -> 抽样 -> 清洗 -> 抽样 -> 清洗，最终需要过滤掉含有下列后缀的uri

.js .css . gif .jpeg .jpg .png .ico .txt .swf .xml .JPEG .PNG .JPG

#python代码：
if re.search(r"(\.js|\.css|\.gif|\.jpe?g|\.png|\.ico|\.txt|\.swf|\.JPE?G|\.PNG|\.xml)", request[1]):
        continue

不同公司的日志可能存在一些特殊情况，这还需要抽样分析

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Lesley dude

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Nginx与日志分析：访问和错误日志

java专栏

09-19

1208

Nginx 会记录下服务器上的每一次 HTTP 请求的信息，这些信息会被保存在日志文件中。访问日志和错误日志。访问日志access.log)：记录了每一个成功的 HTTP 请求的信息。错误日志error.log)：记录了服务器在处理请求时出现的错误信息。通过分析这些日志，我们可以了解用户的访问行为，发现潜在的安全威胁，以及排查服务器故障。在httphttp {......接下来，我们需要在access_loghttp {......

nginx location中uri的截取的实现方法

09-29

主要介绍了nginx location中uri的截取的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

参与评论您还未登录，请先登录后发表或查看评论

awk分析nginx日志，获取pv

LongMarch12的专栏

02-24

2718

函数库文件 stat_func.sh#!/bin/bash stat_log_path=/usr/local/qqsa/result stat_nginx_log() { local basename=`basename $1` local newfile="${stat_log_path}/${basename%%.*}.pv.`date +'%Y-%m-%d'`" awk -F/" ' { if( $2 ~ /css|txt|ico/ ) res["static"]++;

nginx切割请求uri

weixin_44088602的博客

09-15

4360

nginx切割请求uri 不多说，直接上干货！ nginx配置： location ~ ^/abc { if ($request_uri ~* ^/abc/url=(.*)$) { set $my_url $1; proxy_pass $my_url; } } linux测试工具 curl ！假设nginx监听端口为80。测试用url：http://127.0.0.1:80/abc/url=http://127.0.0.1:80/aaa/zxczxczxczxczxczxczxc ..

被Nginx代理后从REQUEST获取客户端IP地址

一瓶绿茶三元钱

02-20

6574

应用程序部署上线,一般都会用nginx之类的来进行反向代理,而不是直接访问tomcat之类的容器. 这时候如果用平时的获取ip的代码,就只会获取到nginx所在服务器的ip, 就失去了本身的意义. 今天就来配置下 nginx+tomcat 后, 程序获取ip和 tomcat的访问日志localhost_access_log 获取ip. nginx+tomcat集群参

python+pandas分析nginx日志的实例

09-20

首先，创建了一个目录来存放日志文件，然后创建了一个文本文件来保存从Nginx日志中提取的特定字段。这里使用的命令是`mkdir`和`touch`，分别用来创建目录和文件。紧接着，安装了Python的科学计算和数据处理相关模块...

java分析nginx网站日志

weixin_44563213的博客

09-24

1363

一款新的高效分析nginx网站日志的算法和工具自己用java分析Nginx网站日志先看效果图：一，为什么不用第三方的网站日志分析工具大家都熟悉的第三方的nginx网站日志分析工具，有收费的宝塔网站监控面板，有免费的goaccess和基于js的51la和百度网站统计等等。那为什么还要自己做一个网站日志分析工具呢？第三方网站日志分析工具要么收费，要么不好用；咱们自己做，可以根据自己的需要，对感兴趣的数据进行统计分析；可以自己设计外观，自己喜欢什么风格就做成什么风格；自己做不会泄露网站资料；

PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径

10-25

正则表达式（regex）是一种在文本中搜索、匹配和提取字符串的强大工具。在PHP脚本中，我们看到使用了正则表达式来匹配请求状态码为404的日志记录。这允许我们从日志中筛选出所有404页面的访问记录。 5.统计特定搜索...

日志解析

weixin_30553837的博客

08-11

301

1）基本配置 # cat /etc/nginx/nginx.conf -n 40 access_log /var/log/nginx/access.log; 41 error_log /var/log/nginx/error.log; 注意： nginx日志属性设置的完整格式是：属性名称 access_lo...

java request body内容_nginx 配置记录 request body 内容

weixin_36037280的博客

02-13

177

安装 NGINX的 openresty因为 openresty 功能更强大。直接下载使用更好参考： http://openresty.org/cn/components.htmlhttps://my.oschina.net/wForget/blog/3224595https://moonbingbing.gitbooks.io/openresty-best-practices/content/op...

nginx log日志格式以及内置变量

jilangyu123的博客

08-23

2549

参数名称注释 argPARAMETERHTTP请求中某个参数的值，如/index.php?site=www.ttlsa.com，可以用arg_PARAMETER HTTP 请求中某个参数的值，如/index.php?site=www.ttlsa.com，可以用argPARAMETERHTTP请求中某个参数的值，如/index.php?site=www.ttlsa.com，可以用arg_site...

Nginx-日志log部分详解-第一部分