Linux脚本练习之script084-nginx日志分析之统计爬虫抓取404的次数

最新推荐文章于 2023-02-21 15:53:24 发布
最新推荐文章于 2023-02-21 15:53:24 发布
阅读量558 收藏 1
点赞数 1
分类专栏： # Shell脚本 文章标签： linux shell bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cnds123321/article/details/125814013
版权

script084

题目

注：题目来源于 SHELL27 nginx日志分析5-统计爬虫抓取404的次数 。

假设 nginx 的日志我们存储在 nowcoder.txt 里，格式如下：

192.168.1.20 - - [21/Apr/2020:14:12:49 +0800] "GET /1/index.php HTTP/1.1" 301 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:00:49 +0800] "GET /2/index.php HTTP/1.1" 500 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:21:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:10:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:00:49 +0800] "GET /2/index.php HTTP/1.1" 200 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:05:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 200 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:12:49 +0800] "GET /1/index.php HTTP/1.1" 200 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:00:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:00:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
192.168.1.22 - - [23/Apr/2020:15:00:49 +0800] "GET /3/index.php HTTP/1.1" 200 490 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 200 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 300 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 500 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:10:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:59:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要你统计百度爬虫抓取 404 的次数，你的脚本应该输出：

2

脚本一

先通过 grep 命令查找到有百度地址的记录行；然后再通过 grep -c 命令统计这些行中出现了 404 的行数。

grep "www.baidu.com/search/spider.html" nowcoder.txt | grep -c "404"

脚本二

直接使用 grep -c -E 命令通过正则表达式匹配百度爬虫抓取 404 的行数。

grep -c -E "404.*www.baidu.com/search/spider.html" nowcoder.txt

脚本三

通过 awk 命令来匹配正则表达式行，并打印行数。

awk '/404.*www.baidu.com\/search\/spider.html/{print NR}' nowcoder.txt | wc -l
二木成林
关注
专栏目录
如何查看Nginx日志中关于百度爬虫的日志记录
zxstrive的专栏
01-09 2834
单独从Nginx日志文件access.log中提取出关于百度爬虫的日志记录并将其存到另一个单独的文件中。可以简单的通过Linux中的管道命令实现，如下所示： cat access.log | grep Baiduspider > bs.log 这样就可以将百度相关的访问记录都存到bs.log文件中。可以通过查看bs.log就可以知道百度访问了我们的哪些页面了。 cat bs.log ...
记录 nginx 出现 403 forbidden 和 404 的解决经历
最新发布
q322359的博客
04-17 1万+
当我修改了 nginx 所展示的页面路径了以后，访问 nginx 所在的 8080 端口就出现了403 forbidden 的错误首先通过以下查看进程的命令发现 worker process 对应的启动用户是 nobody 是错的 （图中是 root，是改正后的样子）我先进入了 nginx 文件目录再进入了 conf 文件目录通过vim 打开了 nginx.conf 文件要将配置文件首部改成下图的样子改完以后要执行以下命令重新加载配置文件。
【Shell牛客刷题系列】SHELL27 nginx日志分析5-统计爬虫抓取404的次数
一起加油~
12-10 1102
本文首先复习了grep、awk、wc等命令的相关用法；然后，给出了四种题目的解决方案。
ajax报nginx404php,Nginx中定义404页面并且返回404状态码的正确方法
weixin_39903571的博客
03-18 125
前几天，一朋友出程序出问题却怎么查都没看出问题，于是让我帮它看看。其实它是ajax请求了很多个模板，然后把模板写到页面中。关键是所有请求的页面都是200正常状态码返回，表面上看没什么问题，实际上有些请求虽然返回200状态码，但给回的状态码是200。WebServer是nginx，直接告诉我应该他们配置了nginx的404错误页面，虽然请求不存在的资源可以成功返回404页面，但返回状态码确是200。...
linux awk nginx日志分析,Linux Awk使用案例总结-nginx日志统计
weixin_36344231的博客
05-05 196
Nginx日志分析(截图和文字日志格式不同)日志格式：'$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'日志记录：27.189.231.39 - - [09/Apr/2016...
php提取nginx日志增量,从nginx日志中提取爬虫信息
weixin_39601511的博客
04-07 268
Update：2016.03.26 发现有伪装成googlebot的client，严格筛选进入爬虫信息统计的日志，增加请求类型为GET的条件&& $2~/GET/ 。一般来说，搜索引擎爬虫不会执行页面上的JavaScript代码，而网站分析工具大多又是基于JavaScript代码的，这也就是说，默认情况下，网站分析工具不能记录到搜索引擎爬虫这部分的流量。但搜索引擎爬虫数据对于SE...
PHP统计nginx访问日志中的搜索引擎抓取404链接页面路径
10-25
从标题和描述中，我们可以得知本文的知识点主要涉及如何利用PHP语言来统计nginx服务器上的访问日志，特别是针对搜索引擎抓取过程中出现的404错误页面路径。404错误通常指代“未找到”，在这个场景中，意味着有用户或...
fastdfs-nginx-module的安装与部署
流楚丶格念的博客
08-08 5125
FastDFS的Nginx模块1 简介2 Nginx上部署FastDFS2.1 模块包的安装报错处理2.2 fastdfs-nginx-module 的配置2.2.1 fastdfs-nginx-module配置文件2.2.2 建立软连接2.2.3 配置nginx报错处理2.3 测试环境 1 简介 一个好的分布式文件系统最好提供Nginx的模块，因为对于互联网应用来说，像文件这种 静态资源，一般是通过HTTP的下载，此时通过容易扩展的Nginx来访问FastDFS，能够让 文件的上传和下载变得特别简单。 N
2021/12/17—loki-Grafana-promtail分析Nginx日志
zq315749330的专栏
12-21 1847
1. Nginx配置文件添加GeoIP2数据库 GeoIP2安装 yum -y install https://github.com/maxmind/geoipupdate/releases/download/v4.8.0/geoipupdate_4.8.0_linux_386.rpm 更新数据库 cat <<'EOF' >>/etc/GeoIP.conf # GeoIP.conf file for `geoipupdate` program, for versions .
Nginx 日志分析
番茄炒蛋君的博客
11-22 3795
目录： 日志分析 日志的常用需求分析 Nginx 日志切割 日志分析 Nginx 默认日志路径/usr/local/nginx/logs/，其中包含访问日志 access.log 和错误 记 录 日 志 error.log。 查看 nginx 访问日志 ： cat /usr/local/nginx/logs/access.log | more Nginx 访问日志打印的格式可以自定义...
使用shell脚本分析网站日志统计PV、404、500等数据
01-20
下面的脚本能统计出网站的总访问量，以及404,500出现的次数。统计出来后，我们可以结合监控宝来进行记录，进而可以看出网站访问量是否异常，是否存在攻击，一目了然。还可以根据查看500出现的次数，进而判断网站程序是否出现异常。 代码如下:#!/bin/bash#purpose:count nginx or apache or other webserver status code using jiankongbao#how to:run the script every 5 minutes with crontablog_path=”/var/log/nginx/www.jb51.net/acc
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4378
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
nginx 日志过滤网络爬虫
weixin_33757911的博客
03-15 218
分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。鉴于多数蜘蛛爬虫都是叫xx-bot或者xx-spider，下面的方法可以给爬虫单独写日志：location / { if ($http_user_agent ~* "bot|spider") { access_log /var/log/nginx/spider.access.log; } }或者干脆不写日志...
针对Nginx日志中出现的漏洞扫描与爬虫的三种措施
07-25 608
0x001 使用fail2ban工具结合防火墙（iptables | firewalld），将大量404请求的IP地址封了。（详见fail2ban使用说明：https://www.cnblogs.com/bestOPS/p/10616401.html） 0x002 将所有非法请求跳转至首页：在nginx.conf 或 虚拟主机的配置文件中的server 配置段落里执行：a. ...
shell、NGINX 日志分析
北海牧野
05-19 599
NGINX 日志分析 目录NGINX 日志分析统计网页当前TCP连接数一、统计PV量1.统计某一天(2020年4月21日)的PV量2.统计某一天某一时段(2020年4月21日9点~11点)之间的PV量3.统计一周前的PV量二、统计IP地址1.统计某一天(2020年4月21日)当中，访问最多的10个IP地址2.统计某一天(2020年4月21日)当中，访问量大于100次的IP地址三、统计URL访问的页面1.统计某一天(2020年4月21日)当中，访问最多的10个页面($request)2.统计某一天当中，所有U
apache 统计404日志_如何用shell脚本分析网站日志统计PV、404、500等数据
weixin_39637700的博客
01-14 166
以下shell脚本能统计出网站的总访问量，以及404,500出现的次数。统计出来后，可以结合监控宝来进行记录，进而可以看出网站访问量是否异常，是否存在攻击。还可以根据查看500出现的次数，进而判断网站程序是否出现异常。完整脚本代码：复制代码 代码示例:#!/bin/bash#purpose:count nginx or apache or other webserver status code u...
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 827
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
nginx 每天各IP访问次数记录统计
qq_44166712的博客
02-21 2517
*此文章主要介绍了，在nginx代理的情况下，统计当天IP的出现次数，并且生成表格的相关步骤*
使用AWStats和JAWStats进行Nginx日志分析配置指南
"Nginx日志分析工具AWStats与JAWStats的安装配置教程" 在进行网站运营和管理时，了解网站的访问情况至关重要。AWStats和JAWStats是两个强大的工具，它们可以帮助我们深入分析Nginx服务器的日志数据。AWStats是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值