你应该知道的算法2-网站pv,uv统计

现在有google统计和百度统计来帮助站长们做网站的pv、uv统计和分析，但是对于大流量的网站他们都是需要收费的，所有很多公司都有专门的日志分析人员，本人不做专业的日志分析，但是觉得很有必要去了解这些东西

一.实用的日志分析脚本

PV很简单，大致就是统计某个URL的访问次数，例如统计/index.html的访问次数

1. grep "/index.html" /var/log/nginx/access.log –c  

统计访问了 /index.html 这也页面的 uv:

1. grep "/index.html" /var/log/nginx/access.log | cut –d “ ” –f 4| sort | uniq | wc –l  

1.查看apache的进程数
ps -aux | grep httpd | wc -l

2.分析日志查看当天的ip连接数
cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $2}’ | sort | uniq -c | sort -nr

3.查看指定的ip在当天究竟访问了什么url
cat default-access_log | grep “10/Dec/2010″ | grep “218.19.140.242″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr

4.查看当天访问排行前10的url
cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr | head -n 10

5.看到指定的ip究竟干了什么
cat default-access_log | grep 218.19.140.242 | awk ‘{print $1″\t”$8}’ | sort | uniq -c | sort -nr | less

6.查看访问次数最多的几个分钟(找到热点)
awk ‘{print $4}’ default-access_log |cut -c 14-18|sort|uniq -c|sort -nr|head

二.使用awstats自动分析日志
当然啦,如果想最简单和最直观的分析日志还是用工具,现在网上较流行的工具是awstats,一个基于perl的web日志分析工具,功能很强大也支持IIS等服务器
下载地址 http://awstats.sourceforge.net