Linux根据关键字过滤日志记录命令总结

最新推荐文章于 2024-10-15 22:34:25 发布
最新推荐文章于 2024-10-15 22:34:25 发布
阅读量6.5k 收藏 8
点赞数
分类专栏： Linux 文章标签： python linux shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/submarineas/article/details/113530577
版权

引言

Linux日志中存储了大量信息，但是在于如何快速提取信息。可以使用许多工具来执行此操作，从命令行工具到更多工具先进的分析工具能够搜索特定字段，计算汇总，生成图表等。本篇主要想集中于awk、grep、sed三种查询方式进行总结。

awk命令解析

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

  • FS ：输入字段分隔符，默认为空白字符
  • OFS ：输出字段分隔符，默认为空白字符
  • RS ：输入记录分隔符，指定输入时的换行符，原换行符仍有效
  • ORS ：输出记录分隔符，输出时用指定符号代替换行符
  • NF ：字段数量，共有多少字段， N F 引 用 最 后 一 列 ， NF引用最后一列， NF引用最后一列，(NF-1)引用倒数第2列
  • NR ：行号，后可跟多个文件，第二个文件行号继续从第一个文件最后行号开始
  • FNR ：各文件分别计数, 行号，后跟一个文件和NR一样，跟多个文件，第二个文件行号从1开始
  • FILENAME ：当前文件名
  • ARGC ：命令行参数的个数
  • ARGV ：数组，保存的是命令行所给定的各参数，查看参数

那么如下就是我做的实验情况：

[root@VM-0-11-centos software]# cat text.log 
2021-01-21 18:11:37 FrameStore INFO - check calc time:840187c5-432e-11eb-b3b1-0242ac1b0004 1107 1116 1611223897.2701166
2021-01-22 18:12:37 FrameStore INFO - check calc time:c379c04f-f677-11ea-8643-0242ac110002 243 252 1611223897.3986614
2021-01-23 18:13:37 FrameStore INFO - check calc time:203d164b-4330-11eb-b3b1-0242ac1b0004 1017 1026 1611223897.5125592
2021-01-24 18:14:37 FrameStore INFO - check calc time:840187c5-432e-11eb-b3b1-0242ac1b0004 1116 1125 1611223897.6267443

[root@VM-0-11-centos software]# awk -v FS=':' '{print $1,$2}' text.log	# FS指定输入分隔符
2021-01
最低0.47元/天 解锁文章
submarineas
关注
专栏目录
linux tail 过滤日志文件中的关键字
qq_38657943的博客
10-29 1370
linux tail 过滤日志文件中的关键字 2017-08-03 10:31:11随风yy阅读数 21185更多 分类专栏：【linux/mac/windows】 版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/yaomingyang/article/details/76...
Shell+Linux命令实现日志分析
09-15
在Linux系统中，Shell脚本配合各种命令工具可以实现高效且灵活的日志分析。本文将详细介绍如何利用Shell和Linux命令来实现日志分析，特别是针对访问日志的统计。 1. 列出当天访问次数最多的IP： 使用`cut`命令以...
Linux 命令 —— grep、tail、head、cat、more、less(查看日志常用命令)
最新发布
longool的博客
10-15 1485
less 按需加载文件内容，只在需要时读取部分数据（这意味着当打开一个大文件时，它不会一次性读取整个文件），加载速度更快，尤其适合大文件。more 命令和 cat 的功能一样都是查看文件里的内容，但有所不同的是more可以按页来查看文件的内容，还支持直接跳转行等功能。-E：将样式为延伸的正则表达式来使用，是用于启用扩展正则表达式（ERE）的 grep 命令选项，这使得用户能够使用更复杂的模式匹配功能。-f 循环读取：实时跟踪文件的新增内容，持续输出文件的新内容，直到用户手动停止。用于监控日志文件的变化。
linux中awk进行日志文本的处理过滤
风清扬的博客
09-25 7478
对于awk命令的介绍可查看linux命令大全http://man.linuxde.net/awk     linux下日志分析很常见也很重要，看见那一片如汪洋般的日志，想死的心都有了，过滤出关键日志，查看重要信息，定位分析问题也是必须要掌握的一门技能；     因此coding的时候对日志格式的设计规范很重要，直接决定了bug的定位速度，一般日志过滤处理主要有以下几种方式：     1.查找
查找日志关键字
u014365523的博客
09-14 700
查看日志
linux-文件查找和内容过滤命令
07-25
linux-文件查找和内容过滤命令。linux-文件查找和内容过滤命令。
Linux查询|搜索|过滤|文本日志命令汇总
hey_wei_ran的博客
03-28 1449
可以查询文本内容，和查看日志。
linux查询日志中存在的关键字
大家都叫我菜鸡刘
12-28 626
tail -f 日志文件 |grep -iC 10 关键字。-A -B -C 后面都跟阿拉伯数字。总体来说，-C覆盖面最大。-A是显示匹配后和它后面的n行。-B是显示匹配行和它前面的n行。-C是匹配行和它前后各n行。-i:忽略关键字大小写。
linux过滤文件的关键字,linux tail 过滤日志文件中的关键字
weixin_29196891的博客
04-28 2561
1.查看日志文件中带有指定关键词的日志信息tail -f 日志文件名 | grep 关键字 | grep 关键字2.查看日志文件最后1000行tail -f -n 1000 日志文件 (实时打印最新的日志信息)tail -1000n 日志文件(实时打印最新的日志信息)tail -1000 日志文件(打印出日志文件的最后1000条信息)tail -n +1000 日志文件(从第1000行开始显示...
Linux日志中查找关键字及其前后的信息实例方法
01-10
但现在我们要讨论的是，如何从日志中通过关键字过滤出我们想要的内容，方法有多种，今天我们主要以 cat 命令来进行学习。 假设存在日志文件 hrun.log，查询的关键字为”新增用户”： 根据关键字查看日志 cat hrun....
LINUX 查找tomcat日志关键词命令
09-15
查找Tomcat日志中的关键词，我们可以利用Linux的`grep`命令。`grep`是“global regular expression print”的缩写，它能搜索文件并打印匹配特定模式的行。在给定的示例中，查找2016年4月13日11点26分的日志信息，...
linux常用过滤日志命令
weixin_30685047的博客
03-13 721
#过滤nginx访问日志awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10 #过滤ssh登录失败日志grep "Failed password for root from" /var/log/secure | awk {'print $11'} | sort |...
linux+模糊过滤,linux_常用日志过滤命令
weixin_42451611的博客
05-25 381
归档2015年在br做运维时常用的命令，主要梳理出日志的过滤操作。对于日志文本的处理，常用的还是sed、awk，具体如下：统计ip访问量：cat nginx.log |awk '{print $2,$11}' | awk ' {++S[$1]; V[$1]+=$2 } END {for(a in S) print a, S[a], V[a]}' |sort -nrk2 |head222.93.28...
常用linux日志过滤命令
robertcid的博客
04-10 5480
Linux日志分析常用命令汇总 1、查看当天有多少个IP访问： awk ‘{print $1}’ log_file|sort|uniq|wc –l 2、查看某一个页面被访问的次数： grep “/index.php” log_file | wc –l 3、查看每一个IP访问了多少个页面： awk ‘{++S[$1]} END {for (a in S) print a,S[a]}’ log_fil...
Linux基础命令之 grep 过滤需要的日志
Soinice的博客
03-08 9416
使用 grep 过滤需要的日志 grep 命令几个常用的参数 参数 注释 用法 –color 匹配到的数据变红 grep --color ‘要匹配的内容’ -A 查看后几行数据 查看匹配的行的后十行：grep -A 10 ‘需要匹配的内容’ 使用 grep 搜索关键字 搜索日志中所有包含 appid 的内容 cat access_log.2022-02-08-14.log | grep 'appid' 或者 cat access_log.2022-02-08-14.log | g
linux通过grep根据关键字查找日志文件上下文
Darryl Cao的博客
08-26 8758
linux通过grep根据关键字查找日志文件上下文 1、在标准unix/linux下的grep命令中，通过以下参数控制上下文的显示： grep -C 10 keyword catalina.out 显示file文件中匹配keyword字串那行以及上下10行 grep -B 10 keyword catalina.out 显示keyword及前10行 grep -A 10 keyword catal...
grep过滤日志技巧
余璜的技术博客
03-14 4426
为了迅速将ERROR和WARN从日志中过滤出来，可以执行如下命令： grep -E "ERROR|WARN" my_log_file.log        -E, --extended-regexp               Interpret PATTERN as an extended regular expression (see below). note:
linux（centos）tail 日志时过滤信息命令
指尖艺术的博客
04-26 2411
常规显示实时日志（比如日志文件名称叫server.log）:现在因为日志里有一个打印出现的频率非常高，又不是我们想看的可以用过滤命令:过滤多个条件:
linux实时监控日志命令
03-16
Linux实时监控日志的命令有多种，其中比较常用的包括： 1. tail命令：可以实时查看日志文件的最新内容，常用的参数包括-f（跟踪文件）和-n（显示最后n行）。 2. grep命令：可以根据关键字过滤日志文件中的内容，常用的参数包括-i（忽略大小写）和-v（反向匹配）。 3. watch命令：可以定时执行其他命令，并将结果输出到终端，常用于实时监控系统状态和日志文件。 4. multitail命令：可以同时监控多个日志文件，并将它们合并显示在同一个终端窗口中，支持多种过滤和高亮显示功能。 5. lnav命令：是一款功能强大的日志查看工具，支持多种日志格式和过滤方式，可以实现实时监控、搜索、统计等功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

submarineas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值