AWK 日志分析统计

最新推荐文章于 2024-04-17 04:58:34 发布
最新推荐文章于 2024-04-17 04:58:34 发布
阅读量571 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49821830/article/details/109566716
版权
本文介绍如何利用AWK工具对系统日志进行高效分析和统计，包括访问频率、错误信息提取等关键操作，帮助优化系统性能和排查问题。
摘要由CSDN通过智能技术生成 
# 统计一个时间范围内访(pv)问量
[root@qfedu.com ~]# grep '01/Sep/2017' sz.mobiletrain.org.log | wc -l
[root@qfedu.com ~]# awk '$4>="[05/Sep/2017:08:00:00" && $4<="[05/Sep/2017:09:00:00" {print $0}' sz.mobiletrain.org.log | wc -l

# 统计一个时间范围内访问量前10的ip
[root@qfedu.com ~]# grep '05/Sep/2017' cd.mobiletrain.org.log | awk '{ips[$1]++} END{ for(i in ips){print i ,ips[i]}}' | sort -k2 -rn | head 

[root@qfedu.com ~]# awk '/05\/Sep\/2017/ {ips[$1]++} END{ for(i in ips){print i ,ips[i]}}' cd.mobiletrain.org.log | sort -k2 -rn | head 

# 统计一个时间范围内访问前10的页面
[root@qfedu.com ~]
最低0.47元/天 解锁文章
jimmy-lf
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell脚本实现的网站日志分析统计（可以统计9种数据）
09-15
本文将详细讲解如何利用Shell脚本来实现网站日志的分析统计，涵盖9种关键数据指标，这对于网站监控和优化具有极大的价值。 首先，Shell脚本是一种强大的命令行工具，它允许我们在Linux或Unix系统上执行一系列自动化...
Nginx日志统计分析的常用命令总结
09-30
以上命令是Nginx日志分析的基础工具，可以根据实际需求进行调整和扩展，以获取更详尽的统计数据。例如，结合正则表达式筛选特定用户代理（User-Agent）、HTTP状态码等信息，或者通过grep、sed、awk等工具进一步处理...
awk分析日志，统计ip、状态码、域名，详细示例【超实用
最新发布
2401_83946826的博客
04-17 1059
注意日志中的列与日志格式中的列的对应关系；由于空格的存在，并不完全是一 一对应；如：日志中的第一列是ip，对应remoteaddr；四、五两列是时间对应四、五两列是时间对应[remoteaddr；四、五两列是时间对应time_local]，第二列是“-”，第三列也是“-”对应remoteuser信息为空则为“−，第六列是状态码对应remote\_user(信息为空则为“-”)，第六列是状态码对应remoteuser。
Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析
雲的博客
07-22 1069
Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析 网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分析：当前页面 一
awk日志统计
rojanzhang的专栏
05-27 1641
1、统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 2、查看某一时间段的IP访问量(4-5点) grep"07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 3、查看访问最频繁的前100个IP awk '{print $1}' access.log | sort -n |uniq -c | sort -rn...
awk统计日志
yuansheng730的博客
06-04 289
统计2019年6月3号,当天的PV量* [root@shell ~]# awk '/03\/Jul\/2019/ {ip[$1]++}END{for(i in ip){sum+=ip[i]}{print sum}}' acces.log 46 统计15-19点的pv量 awk '$4>="[25/Jan/2018:15:00:00" && $4<="[25/Jan/2018:19:00:00 {print $0}"' log.bjstack.log |wc -l 统计201
linux awk 日志统计
小净的博客
05-14 344
总访问量 grep -o “/api/v1/” icfo-operation-platform.log |wc -l 按小时统计访问量： cat icfo-operation-platform.log | grep ‘/api/v1/’| awk -F ’ ’ ‘{print $5;}’ | awk -F: ‘{a[$1]++} END{for(i in a){split(i,t);print i"点 访问 “a[i] " 次” | “sort -t: -k1n -k2n”}}’ 统计接口访问量： ca
linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
一元钱计划
02-13 569
通过对awk, wc, uniq, grep, sort等命令的组合，分析nginx的access和error日志。 统计各种总量、单位时间量。   access.log日志格式(见下图） 说明：a). 按照Tab键拆分每项数据b). 字段含义（如下说明）column1：ip_addresscolumn2：log_timecolumn3：requestcolumn4：status_c...
Shell+Linux命令实现日志分析
09-15
本文将详细介绍如何利用Shell和Linux命令来实现日志分析，特别是针对访问日志的统计。 1. 列出当天访问次数最多的IP： 使用`cut`命令以特定字符（通常是空格或逗号）分隔日志条目，提取IP地址（通常是第一字段），...
Shell日志分析常用命令和例子
09-15
Shell日志分析是一种常见的系统监控和故障排查方法，尤其在IT运维中不可或缺。通过Shell命令，我们可以高效地处理和解析日志文件，提取关键信息。本文将详细介绍一些常用的Shell命令及其在日志分析中的应用。 1. **...
使用awk进行日志信息的分组统计
GG8926895的博客
06-27 1141
起因 这是今天我线上出了一个bug，需要查看日志并统计一个我需要的信息出现的频率，可以叫做分组统计。 日志文件部分内容 00:09:07.655 [showcase_backend][ShowcaseServiceImpl] WARN - showcase add recommend from taobao failed |shopId=1482502318|itemId=5483...
日志统计分析-Shell/Goaccess
Hobo86的专栏
08-01 146
对Nginx或其他日志进行简单的统计分析   Shell 对某一列进行统计，可以分析Statu Code,URL等 # cat access.log | awk '{print $9}'|sort|uniq -c | sort -r -n &gt; stat.log 或#cat access.log |grep "200" | awk '{print $7}'|sort|uniq -...
awk分析日志，统计ip、状态码、域名，详细示例【超实用】
weixin_43234959的博客
09-25 6162
一、第一步，先确认日志格式 1、日志格式示例如下，各参数的含义在此暂不做解释，以下配置在nginx.conf中定义； 2、具体nginx日志示例如下 注意日志中的列与日志格式中的列的对应关系；由于空格的存在，并不完全是一 一对应； 如：日志中的第一列是ip，对应$remote_addr；四、五两列是时间对应[$time_local]，第二列是“-”，第三列也是“-”对应$remote_use...
【Linux命令】AWK 之统计日志中失败登陆的IP和次数
简单记录
07-18 718
linux命令之awk使用记录。
Nginx日志统计分析
kutianya518的博客
03-14 6518
统计PV,UV数 统计所有的PV数 cat access.log | wc -l 1 统计当天的PV数 cat access.log | sed -n /`date "+%d\/%b\/%Y"`/p | wc -l 1 统计指定某一天的PV数 cat access.log | sed -n '/20\/Aug\/2019/p' | wc -l 1 根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 1 统计指定某一天访问IP统计UV ca
4-网站日志分析案例-日志数据统计分析
IT从业者的成长历程
12-28 1404
本文为网站日志分析案例的第4部分，基于MR清洗后的数据导入HIVE中，然后进行统计分析。
使用awk命令统计日志
百岁
06-05 505
用惯了java的我，习惯于使用java来处理统计服务器上生成的报表文件，其实可以用shell脚本来出来日志文件，这样效率更高，而且能满足多变的需求，例如有以下一个日志文件，为了演示demo，以下这段内容只是真是环境中的日志文件的一小段： IP: 10.246.133.165 corename:search4newecrmonline-113,indexsize:4647684,indexN...
Ngxin awk日志统计查看
瞅自己都上火的博客
12-01 66
列出请求13点发生请求的url地址，去除请求地址的携带参数，并统计每个url请求数。日志按天生成，日志文件名：access-2023-12-01.log。查看2023年，13点的请求数。
使用awk统计分析
javascript_good的博客
06-08 563
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据的分析并生成报告时显得尤为强大，简单说就是awk把文件逐行读入，以空格为默认分隔符，将每行切片，切开的部分再进行分析处理，因为切开的部分使用awk可以定义变量，运算符，流程控制语句进行深度加工与分析。awk分解行记录,获取每一个域的记录域:根据指定符号,把一行记录分解成多个小记录,每个小记录成为域，记录:一行数据awk 分解记录:1.awk -F 分解符号2.awk 默认按照""分解。
AWK教程：文本数据分析与SQL生成实例
本文档主要介绍了如何利用AWK这一强大的文本分析工具在有规则的数据文件中生成SQL语句，特别是在处理包含多个表数据的情况下。AWK以其灵活的模式匹配和数据处理能力，适用于从大量文本数据中提取特定信息。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值