从日志中获取ip最多的N个

既然内存只有1G  那么就不能直接使用HashMap进行统计, 可以使用MapReduce原理, 先切片, 通过Hash码进行分片, IP 相同的肯   定在一个文件中, 分片不宜太大,也不宜太小, 就用1000片吧,  之后统计每个文件中出现最多次数的 IP, 合并到一个文件中, 最后统计   合并的文件, 取最终结果

 

 

 

 

apache日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。

既然是统计，那么awk是必不可少的，好用而高效。

命令如下：

awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail

首先用awk统计出来一个列表，然后用sort进行排序，最后用tail取最后的10个。

以上参数可以略作修改显示更多的数据，比如将tail加上-n参数等，另外日志格式不同命令也可能需要稍作修改。

当前WEB服务器中联接次数最多的ip地址

#netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr