给大家的福利
零基础入门
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
同时每个成长路线对应的板块都有配套的视频提供:
因篇幅有限,仅展示部分资料
网络安全面试题
绿盟护网行动
还有大家最喜欢的黑客技术
网络安全源码合集+工具包
所有资料共282G,朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》,可以扫描下方二维码领取(如遇扫码问题,可以在评论区留言领取哦)~
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
### 8、查看访问前十个ip地址
awk ‘{print $1}’ |sort|uniq -c|sort -nr |head -10 access_log
uniq -c 相当于分组统计并把统计数放在最前面
cat access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10
cat access.log|awk '{counts[$(11)]+=1}; END {for(url in counts) print counts[url], url}
### 9、访问次数最多的10个文件或页面
cat log_file|awk ‘{print $11}’|sort|uniq -c|sort -nr | head -10
cat log_file|awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20
awk ‘{print $1}’ log_file |sort -n -r |uniq -c | sort -n -r | head -20
访问量最大的前20个ip
### 10、通过子域名访问次数,依据referer来计算,稍有不准
cat access.log | awk ‘{print $11}’ | sed -e ’ s/http:’ -e ’ s//.*//’ | sort | uniq -c | sort -rn | head -20
### 11、列出传输大小最大的几个文件
cat www.access.log |awk ‘($7~/.php/){print $10 " " $1 " " $4 " " $7}’|sort -nr|head -100
### 12、列出输出大于200000byte(约200kb)的页面以及对应页面发生次数
cat www.access.log |awk ‘($10 > 200000 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100
### 13、如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面
cat www.access.log |awk ‘(KaTeX parse error: Expected '}', got 'EOF' at end of input: …/\.php/){print NF " " $1 " " $4 " " $7}’|sort -nr|head -100
### 14、列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat www.access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100
### 15、列出传输时间超过 30 秒的文件
cat www.access.log |awk ‘($NF > 30){print $7}’|sort -n|uniq -c|sort -nr|head -20
### 16、列出当前服务器每一进程运行的数量,倒序排列
ps -ef | awk -F ’ ’ ‘{print $8 " " $9}’ |sort | uniq -c |sort -nr |head -20
### 17、查看apache当前并发访问数
对比httpd.conf中MaxClients的数字差距多少
netstat -an | grep ESTABLISHED | wc -l
### 18、可以使用如下参数查看数据
ps -ef|grep httpd|wc -l
1388
统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。
表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整
netstat -nat|grep -i “80”|wc -l
4341
netstat -an会打印系统当前网络链接状态,而grep -i “80”是用来提取与80端口有关的连接的,wc -l进行连接数统计。
最终返回的数字就是当前所有80端口的请求总数
netstat -na|grep ESTABLISHED|wc -l
376
netstat -an会打印系统当前网络链接状态,而grep ESTABLISHED 提取出已建立连接的信息。然后wc -l统计。
最终返回的数字就是当前所有80端口的已建立连接的总数。
netstat -nat||grep ESTABLISHED|wc
可查看所有建立连接的详细记录
### 19、输出每个ip的连接数,以及总的各个状态的连接数
netstat -n | awk ‘/^tcp/ {n=split( ( N F − 1 ) , a r r a y , " : " ) ; i f ( n < = 2 ) + + S [ a r r a y [ ( 1 ) ] ] ; e l s e + + S [ a r r a y [ ( 4 ) ] ] ; + + s [ (NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[ (NF−1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[NF];++N} END {for(a in S){printf(“%-20s %s\n”, a, S[a]);++I}printf(“%-20s %s\n”,“TOTAL_IP”,I);for(a in s) printf(“%-20s %s\n”,a, s[a]);printf(“%-20s %s\n”,“TOTAL_LINK”,N);}’
### 20、其他的收集
分析日志文件下 2012-05-04 访问页面最高 的前20个 URL 并排序
cat access.log |grep ‘04/May/2012’| awk ‘{print $11}’|sort|uniq -c|sort -nr|head -20
查询受访问页面的URL地址中 含有 www.abc.com 网址的 IP 地址
cat access_log | awk ‘($11~/\www.abc.com/){print $1}’|sort|uniq -c|sort -nr
获取访问最高的10个IP地址 同时也可以按时间来查询
cat linewow-access.log|awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10
时间段查询日志时间段的情况
cat log_file | egrep ‘15/Aug/2015|16/Aug/2015’ |awk ‘{print $1}’|sort|uniq -c|sort -nr|head -10
分析 2015/8/15 到 2015/8/16 访问”/index.php?g=Member&m=Public&a=sendValidCode”的IP倒序排列
cat log_file | egrep ‘15/Aug/2015|16/Aug/2015’ | awk ‘{if($7 == “/index.php?g=Member&m=Public&a=sendValidCode”) print $1,$7}’|sort|uniq -c|sort -nr
(7里面包含.php的就输出,本句的意思是最耗时的一百个PHP页面
cat log_file |awk ‘(KaTeX parse error: Expected '}', got 'EOF' at end of input: …/\.php/){print NF " " $1 " " $4 " " $7}’|sort -nr|head -100
列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
cat access.log |awk ‘($NF > 60 && $7~/.php/){print $7}’|sort -n|uniq -c|sort -nr|head -100
统计网站流量(G)
cat access.log |awk ‘{sum+=$10} END {print sum/1024/1024/1024}’
统计404的连接
awk ‘($9 ~/404/)’ access.log | awk ‘{print $9,$7}’ | sort
统计http status
cat access.log |awk ‘{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}’
cat access.log |awk ‘{print $9}’|sort|uniq -c|sort -rn
每秒并发
watch “awk ‘{if($9~/200|30|404/)COUNT[$4]++}END{for( a in COUNT) print a,COUNT[a]}’ log_file|sort -k 2 -nr|head -n10”
带宽统计
cat apache.log |awk ‘{if($7~/GET/) count++}END{print "client_request="count}’
找出某天访问次数最多的10个IP
cat /tmp/access.log | grep “20/Mar/2011” |awk ‘{print $3}’|sort |uniq -c|sort -nr|head
当天ip连接数最高的ip都在干些什么
cat access.log | grep “10.0.21.17” | awk ‘{print $8}’ | sort | uniq -c | sort -nr | head -n 10
小时单位里ip连接数最多的10个时段
awk -vFS=“[:]” ‘{gsub(“-.*”,“”,$1);num[$2" "$1]++}END{for(i in num)print i,num[i]}’ log_file | sort -n -k 3 -r | head -10
找出访问次数最多的几个分钟
awk ‘{print $1}’ access.log | grep “20/Mar/2011” |cut -c 14-18|sort|uniq -c|sort -nr|head
取5分钟日志
if [ D A T E M I N U T E ! = DATE_MINUTE != DATEMINUTE != DATE_END_MINUTE ] ;then #
给大家的福利
零基础入门
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
同时每个成长路线对应的板块都有配套的视频提供:
因篇幅有限,仅展示部分资料
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!