找访问日志中404的url地址

最新推荐文章于 2022-04-24 11:57:39 发布

canofy

最新推荐文章于 2022-04-24 11:57:39 发布

阅读量601

点赞数

分类专栏： linux 文章标签： QQ Tomcat 正则表达式 JSP 应用服务器

linux 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

查找服务器上访问日志中出现了404的记录，并把地址替换成web可访问的方式，最后并发送邮件

重点：
这里主要应用了sed的正则表达式来进行查找替换，也用到了分组
发送邮件使用了email命令(mail命令貌似被禁了，发不出邮件，email命令应该需要装个什么东东吧，反正是在线下的服务器上没看到这个命令)进行发送，这个网上介绍的似乎很少，
用公司的邮箱发送不出去，到最后问了系统的管理员才知道是服务器把公司的smtp服务器直接给屏蔽掉了，最后只要用的是另外的邮箱发送，需要用户名和密码，没有直接使用mail命令简单。

日志格式：


211.139.190.202 - - [24/May/2009:10:11:33 +0800] GET /fggamedown/soh/soh?df=x&t=1&fr=qq&posid=5012 HTTP/1.1 404 763 - - - 10.45.46.238
211.137.69.234 - - [24/May/2009:10:11:41 +0800] POST /fggamedown/zyw/zyw001/ HTTP/1.1 404 763 - - - -
211.139.190.202 - - [24/May/2009:10:13:41 +0800] GET /fggamedown/zyw/zyw003/zyw003.jpg HTTP/1.1 404 763 http://wap.soso.com/game/index.jsp?sid=vshvjZDa/ayXmdFJoYat3g==&key=%E5%B0%84%E5%87%BB&paramBrand=sonyeric&pno=10 - - 10.45.2.41
211.139.190.202 - - [24/May/2009:10:13:53 +0800] GET /fggamedown/soh/soh?df=x&t=1&fr=qq&posid=5012 HTTP/1.1 404 763 - - - 10.45.46.238
211.138.172.201 - - [24/May/2009:10:14:10 +0800] POST /fggamedown/szm/szm002/ HTTP/1.1 404 763 - SAMSUNG-SGH-X628/1.0/WAP2.0 Profile/MIDP-2.0 Configuration/CLDC-1.1/*MzU3NzExMDAwMjkzMTI3 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 - -
211.137.59.23 - - [24/May/2009:10:14:26 +0800] GET /fggamedown/soh/soh004/more.jsp?sid=yqyyl1iUpZiXmdFJoYat3g==&key=%E8%B5%9B%E8%BD%A6&pB=&rB=%E8%AF%BA%E5%9F%BA%E4%BA%9A&format=jar&pid=1&title=%E6%9E%81%E5%93%81%E9%A3%9E%E8%BD%A6%E7%94%9F%E6%AD%BB%E5%8D%A1%E6%9C%AC%E8%B0%B7%28EA%E6%AD%A3%E7%89%88%29 HTTP/1.1 404 778 - - - 10.200.183.128
211.137.59.23 - - [24/May/2009:10:17:53 +0800] POST /fggamedown/soh/soh004/index.jsp?sid=yqyyl1iUpZiXmdFJoYat3g==&key=%E8%B5%9B%E8%BD%A6&paramBrand=&total=29 HTTP/1.1 404 778 - - - 10.200.183.128
211.137.69.234 - - [24/May/2009:10:23:32 +0800] POST /fggamedown/brw/brw001/ HTTP/1.1 404 763 - - - -
211.94.164.200 - - [24/May/2009:10:43:25 +0800] GET http://59.151.101.81:80/fggamedown/086/086003/download.do?op=download&bid=001&gid=086003&cid=007&id=16473&site=&posid=120&fmt=jad HTTP/1.1 404 778 - LENOVO-i921/240A - 10.92.250.3

shell脚本


lastday=`date --date="1 day ago" +%Y-%m-%d`;
accesslog_path=/var/log/accesslog;
log_name=${accesslog_path}"/"localhost_access_log.$lastday.txt;

grep -e "1.. 404" ${log_name}|sed -n 's/^.*T.\(\/.*ja[rd]\).*HTTP.*$/http:\/\/192.168.1.1\1/p'>/usr/local/tomcat-5.0.28/webapps/webdav/error404_monitor.txt;


email -f "***@126.com" -s "test" -n "name" -r "smtp.126.com" -u "***" -i "***" -m login "***@gmail.com"</usr/local/tomcat-5.0.28/webapps/webdav/error404_monitor.txt

最后的结果类似如下：


http://192.68.1.1/fggamedown/076/076001/sghx_SEK700.jad
http://192.68.1.1/fggamedown/076/076001/sghx_n7370.jar
http://192.68.1.1/fggamedown/076/076001/sghx_E398.jar