爬虫linux日志,shell linux日志分析脚本

最近访问ftp所在的服务器时反应有点慢，于是想看看ftp是否有被爬虫爬过，然后随手写了一个简易版的日志分析工具，用来分析每日用户的来源地址及访问量。由于没有做日志切割，此脚本只是在访问日志中统计前一日的数据，想要统计更多的数据可以稍作修改。

#!/bin/bash

cat << EOF

------------------------------------

日志分析小工具

------------------------------------

EOF

LANG=en_US

Usage() {

echo "Usage: $0 Logfile"

}

if [ $# -eq 0 ] ;then

Usage

exit 0

else

Log=$1

fi

Tmpfile=$(mktemp)

Year=$(date |awk '{print $6}')

Mon=$(date |awk '{print $2}')

Day=$(date |awk '{print $3}')

echo -e "\n\033[31m-------the ${Year}-${Mon}-${Yesterday} log statistics as shown:--------\033[0m"

echo -e "\n\033[32m the UV in total yesterday:\033[0m\n"

cat $Log|  awk  '{print $7}'|wc -l

echo -e "\n\033[32m Most of the time yesterday:\033[0m\n"

cat $Log |awk '{print $4}' |cut -c 14-18 |sort|uniq -c | sort -nr | head -10

echo -e "\n\033[32m Most of the page yesterday:\033[0m\n"

cat $Log |awk '{print $11}' |sort |uniq -c |sort -rn |head -10

echo -e "\n\033[32m Most of the ip yesterday:\033[0m\n"

cat $Log| awk '{print $1}' | sort |uniq -c |sort -rn |head -10 > $Tmpfile

cat $Tmpfile | while read line;

do

num=$(echo $line|awk '{print $1}')

echo -n "访问次数:$num   "

ip=$(echo $line|awk '{print $2}')

curl -s ip.cn?ip=$ip

done

执行结果如下所示：