shell日志分析概述

最新推荐文章于 2022-05-13 12:04:36 发布
最新推荐文章于 2022-05-13 12:04:36 发布
阅读量421 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengqiuming/article/details/78602088
版权
一 常见系统日志文件


 
 
二Shell日志分析之nginx的log_format介绍


 
 
三 Shell日志分析之http状态码介绍

<!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7ImFsaWduIjoibGVmdCIsImluZGVudCI6MCwidGV4dC1pbmRlbnQiOjAsImxpbmUtaGVpZ2h0IjoxLjc1fSwiYmxvY2tJZCI6IjM1bXBtYzE1MDI1MjM1NTA2NTMiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbeyJjaGFyIjoi5LiAIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiIgIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiIgIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLluLgiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuingSIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi57O7Iiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLnu58iLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuaXpSIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi5b+XIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLmlociLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuS7tiIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX1dfX0seyJibG9ja1R5cGUiOiJwYXJhZ3JhcGgiLCJzdHlsZXMiOnsiYWxpZ24iOiJsZWZ0IiwiaW5kZW50IjowLCJ0ZXh0LWluZGVudCI6MCwibGluZS1oZWlnaHQiOjEuNzV9LCJibG9ja0lkIjoiMjNvcWVyMTUwMjUyMzc5MTI1NCIsInJpY2hUZXh0Ijp7ImlzUmljaFRleHQiOnRydWUsImtlZXBMaW5lQnJlYWsiOnRydWUsImRhdGEiOlt7ImNoYXIiOiIxIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiI4Iiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiI0Iiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiIuIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJwIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJuIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJnIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fV19fSx7ImJsb2NrVHlwZSI6InBhcmFncmFwaCIsInN0eWxlcyI6eyJhbGlnbiI6ImxlZnQiLCJpbmRlbnQiOjAsInRleHQtaW5kZW50IjowLCJsaW5lLWhlaWdodCI6MS43NX0sImJsb2NrSWQiOiIzeHp5djE1MDI1MjM1ODkyODUiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbXX19LHsiYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7ImFsaWduIjoibGVmdCIsImluZGVudCI6MCwidGV4dC1pbmRlbnQiOjAsImxpbmUtaGVpZ2h0IjoxLjc1fSwiYmxvY2tJZCI6Ijkwc3hjaTE1MDI1MjM4OTAxOTkiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbeyJjaGFyIjoi5LqMIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJTIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJoIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJlIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJsIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJsIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLml6UiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuW/lyIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi5YiGIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLmnpAiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuS5iyIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoibiIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoiZyIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoiaSIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoibiIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoieCIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi55qEIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJsIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJvIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJnIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJfIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJmIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJvIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJyIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJtIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJhIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJ0Iiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLku4siLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6Iue7jSIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX1dfX0seyJibG9ja1R5cGUiOiJwYXJhZ3JhcGgiLCJzdHlsZXMiOnsiYWxpZ24iOiJsZWZ0IiwiaW5kZW50IjowLCJ0ZXh0LWluZGVudCI6MCwibGluZS1oZWlnaHQiOjEuNzV9LCJibG9ja0lkIjoiODljaXd6MTUwMjUyMzg0NDA3NyIsInJpY2hUZXh0Ijp7ImlzUmljaFRleHQiOnRydWUsImtlZXBMaW5lQnJlYWsiOnRydWUsImRhdGEiOlt7ImNoYXIiOiIxIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiI4Iiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiI1Iiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiIuIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJwIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJuIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fSx7ImNoYXIiOiJnIiwic3R5bGVzIjp7ImNvbG9yIjoiI0RGNDAyQSJ9fV19fSx7ImJsb2NrVHlwZSI6InBhcmFncmFwaCIsInN0eWxlcyI6eyJhbGlnbiI6ImxlZnQiLCJpbmRlbnQiOjAsInRleHQtaW5kZW50IjowLCJsaW5lLWhlaWdodCI6MS43NX0sImJsb2NrSWQiOiIycmh6aTE1MDI1MjM1OTM4NTYiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbXX19LHsiYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7ImFsaWduIjoibGVmdCIsImluZGVudCI6MCwidGV4dC1pbmRlbnQiOjAsImxpbmUtaGVpZ2h0IjoxLjc1fSwiYmxvY2tJZCI6IjYxbHBpcjE1MDI1MjQxNjU0ODEiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbeyJjaGFyIjoi5LiJIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiIgIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJTIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJoIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJlIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJsIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiJsIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLml6UiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuW/lyIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi5YiGIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLmnpAiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IuS5iyIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoiaCIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoidCIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoidCIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoicCIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi54q2Iiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLmgIEiLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19LHsiY2hhciI6IueggSIsInN0eWxlcyI6eyJib2xkIjp0cnVlfX0seyJjaGFyIjoi5LuLIiwic3R5bGVzIjp7ImJvbGQiOnRydWV9fSx7ImNoYXIiOiLnu40iLCJzdHlsZXMiOnsiYm9sZCI6dHJ1ZX19XX19LHsiYmxvY2tUeXBlIjoicGFyYWdyYXBoIiwic3R5bGVzIjp7ImFsaWduIjoibGVmdCIsImluZGVudCI6MCwidGV4dC1pbmRlbnQiOjAsImxpbmUtaGVpZ2h0IjoxLjc1fSwiYmxvY2tJZCI6IjMwc3lmdzE1MDI1MjQxNjQ1MDUiLCJyaWNoVGV4dCI6eyJpc1JpY2hUZXh0Ijp0cnVlLCJrZWVwTGluZUJyZWFrIjp0cnVlLCJkYXRhIjpbeyJjaGFyIjoiMSIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoiOCIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoiNiIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoiLiIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoicCIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoibiIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX0seyJjaGFyIjoiZyIsInN0eWxlcyI6eyJjb2xvciI6IiNERjQwMkEifX1dfX1d-->



 
  • 大小: 173.7 KB
  • 大小: 254.9 KB
  • 大小: 100.2 KB
chengqiuming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
awk分析web日志
jingzhiz 专属移动笔记
02-13 490
具体情况还得根据自己的nginx、apache日志格式来定，仅供参考。 1、查看有多少个IP访问 awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数 grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面 awk '{++S[$1]} END {for (a in S)...
使用shell进行日志分析
congbao6525的博客
06-25 287
最近做数据批量加载的时候，是通过pl/sql嵌在shell脚本里执行的。 脚本运行后生成的日志类似如下的格式 Get Dump file for APP_TMP.TESTRESS_NAME_LINK... Elapsed:...
shell在手分析服务器日志不愁?
weixin_34363171的博客
06-12 122
自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏！于是收集，整理一些服务器日志分析命令，大家可以试试！ 1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数： grep "/index.p...
转载和积累系列 - 分析服务器日志常用命令
自娱自乐的代码人
06-12 1364
1、查看有多少个IP访问：awk '{print $1}' log_file|sort|uniq|wc -l2、查看某一个页面被访问的次数：grep "/index.php" log_file | wc -l3、查看每一个IP访问了多少个页面：awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txtsort -n -t '
使用shell命令查看分析日志
hw1287789687的专栏
04-21 4379
摘要: 现在网站都有后台日志,主要用于记录异常信息,和异常发生时的关键参数,用于排查bug.有时日志文件很大时,使用shell命令可以事半功倍. 场景:java web 目标:查看最近的一个空指针异常的位置,及 空指针异常发生时的前5行代码和后五行代码. 分析: 空指针异常是最经常发生的异常,一般都是代码的bug,所以很有现实意义. 获取前五行代码是为了查看请求参数, 后5...
大数据技术之shell
03-06
1. **Shell概述** - Shell是操作系统内核和用户之间的一个接口，它接收用户的命令，解析并执行这些命令。例如，常用的`cd`用于切换目录，`ls`用于列出目录内容。 - Shell同时也是脚本编程语言，可以编写复杂的逻辑...
shell 编程指南pdf
09-24
11.1.1 概述 104 11.1.2 sort选项 104 11.1.3 保存输出 105 11.1.4 sort启动方式 105 11.1.5 sort对域的参照方式 105 11.1.6 文件是否已分类 105 11.1.7 基本sort 106 11.1.8 sort分类求逆 106 11.1.9 按指定域分类 ...
Linux shell编程指南
05-29
11.1.1 概述 104 11.1.2 sort选项 104 11.1.3 保存输出 105 11.1.4 sort启动方式 105 11.1.5 sort对域的参照方式 105 11.1.6 文件是否已分类 105 11.1.7 基本sort 106 11.1.8 sort分类求逆 106 11.1.9 按指定域分类 ...
shell编程和unix命令
02-16
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁流畅，适合Shell编程人员学习、参考。 目 录 译者序 前言 第1章 文件...
Shell脚本专家指南
04-29
主要内容包括如何使小到中型的系统管理任务自动化，分析系统数据并编辑配置文件，使用bash和ksh等编写IAnux、Unix和OSX应用程序的脚本文件等。 《Shell脚本专家指南》面向中高级的shell程序员，以及需要解决日常问题...
Shell+Linux命令实现日志分析
09-15
主要介绍了Shell+Linux命令实现日志分析,本文给出了结合grep命令、awk命令等实现了几个常用的日志分析统计长命令,需要的朋友可以参考下
数据湾干货分享——20条Shell 分析服务器日志命令
weixin_45869730的博客
02-02 488
对于服务器日志的分析并不容易进行，初学者，以及在绝大多数情况下，进行以用户行为分析为核心的网站分析，都是用不到服务器日志的，而是通过流量统计工具，不过，作为网站分析历史不可分割的一部分以及重要的基础篇章，服务器日志法仍然值得一学的。 数据湾今天给大家分享20条Shell 分析服务器日志命令，大家可以试试！ 1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数： grep "/index.php" log_
Shell分析日志文件
lixuan0305的博客
05-13 228
1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数： grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面： awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txt sort -n -t ' ' -k 2 log.txt 配合sort进一步排序 4、将每个IP访问的页.
shell脚本-日志分析
weixin_45496892的博客
09-23 999
#!/bin/bash #本bash功能主要是收集和分析系统的日志文件，包括如下： # 1、总访问量 # 2、总带宽 # 3、独立访客量 # 4、访问IP统计 # 5、访问url统计 # 6、来源统计 # 7、404统计 # 8、搜索引擎访问统计(谷歌，百度) # 9、搜索引擎来源统计(谷歌，百度) ipaddr=`ifconfig eth1|grep "inet addr" | awk -F[...
Shell分析服务器日志
林长有的博客
05-11 413
网站跑在阿里云的ECS上面,分析分析网站服务器日志,看看网站的访问量。 本文是查看nginx的访问日志 1 查看有多少个IP访问 ]# awk '{print $1}' access.log | sort | uniq | wc -l 13866 2 查看某一个页面被访问的次数 ]# grep "/wealth/index.php" access.log | wc -l 3 查看每一个IP访问...
日志分析（shell脚本）
weixin_34309543的博客
03-22 235
列出当天访问次数最多的IPcut -d- -f 1 /usr/local/apache2/logs/access_log |uniq -c | sort -rn | head -20cut -d, --delimiter=DELIM use DELIM instead of TAB for field delimiter...
Linux运维小命令
weixin_34221112的博客
12-16 84
自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏！于是收集，整理一些服务器日志分析命令，大家可以试试！ 1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l PS: wc -l 看看有多少行 2、查看某一个页面被访...
shell分析nginx日志
百鸣的专栏
12-13 755
日志格式： 178.255.215.86 - - [04/Jul/2013:00:00:31 +0800] "GET /tag/316/PostgreSQL HTTP/1.1" 200 4779 "-" "Mozilla/5.0 (compatible; Exabot/3.0 (BiggerBetter); +http://www.exabot.com/go/robot)" "-"- 178.2...
shell日志切割
最新发布
05-24
为了防止日志文件过大，需要定期进行日志切割。Shell脚本可以实现日志的定时切割，以下是一个简单的示例： ``` #!/bin/bash LOG_DIR="/var/log" LOG_FILE="app.log" BACKUP_DIR="/var/log/backup" # 判断备份目录是否存在，如果不存在则创建 if [ ! -d $BACKUP_DIR ]; then mkdir -p $BACKUP_DIR fi # 重命名日志文件，备份到备份目录中 mv $LOG_DIR/$LOG_FILE $BACKUP_DIR/$LOG_FILE.$(date +%Y%m%d-%H%M%S) # 创建新的日志文件 touch $LOG_DIR/$LOG_FILE # 执行完毕，退出脚本 exit 0 ``` 在这个脚本中，`LOG_DIR` 变量指定了日志文件所在的目录，`LOG_FILE` 变量指定了日志文件的名称，`BACKUP_DIR` 变量指定了备份目录的路径。 脚本首先判断备份目录是否存在，如果不存在则创建。然后，它将当前的日志文件重命名为一个时间戳后缀的文件，并将它备份到备份目录中。接着，它创建一个新的空日志文件，以便应用程序可以继续写入日志。 最后，脚本退出。 可以使用 cron 定时任务来执行这个脚本，例如： ``` 0 0 * * * /path/to/logrotate.sh ``` 这个 cron 表达式将在每天凌晨执行日志切割操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值