shell关于sed，awk日志分割

最新推荐文章于 2024-08-02 21:30:07 发布
最新推荐文章于 2024-08-02 21:30:07 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： linux问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bob_tthp/article/details/77097180
版权

首先是一段日志内容：

[09/Aug/2017:12:00:05 +0800]

[09/Aug/2017:12:00:08 +0800]
[09/Aug/2017:12:00:12 +0800]
[09/Aug/2017:12:00:15 +0800]
[09/Aug/2017:12:00:19 +0800]
[09/Aug/2017:12:00:57 +0800]
[09/Aug/2017:12:01:05 +0800]
[09/Aug/2017:12:01:07 +0800]
[09/Aug/2017:12:01:08 +0800]
[09/Aug/2017:12:01:09 +0800]
[09/Aug/2017:12:01:13 +0800]
[09/Aug/2017:12:02:58 +0800]
[09/Aug/2017:12:03:00 +0800]
[09/Aug/2017:12:03:04 +0800]
[09/Aug/2017:12:03:09 +0800]
[09/Aug/2017:12:03:12 +0800]
[09/Aug/2017:12:03:16 +0800]
[09/Aug/2017:12:03:19 +0800]
[09/Aug/2017:12:07:35 +0800]
[09/Aug/2017:12:07:36 +0800]
[09/Aug/2017:12:07:36 +0800]


取中间一段内容：

sed '/12:00:05/,/12:03:19/p' test -n

以一定规则分割：

awk '{print $1}' test |sed  's#\[##g'| awk -F ':' -vOFS=':' '{print $1,$2,$3}' |sed '/[0-2]$/p' -n

还可以cut -d' ' -f 

bobtthp
关注
专栏目录
shell脚本之AWK-AWK的详细介绍
chen__yang_的博客
03-16 1368
一、AWK简介 二、AWK功能 三、AWK的工作流程 四、AWK程序执行 五、AWK的基本语法
日志分割带有完整的说明，对linux上面产生的日志进行分割
04-04
日志分割带有完整的说明，对linux上面产生的日志进行分割日志分割带有完整的说明，对linux上面产生的日志进行分割
awk日志分割
weixin_30500289的博客
05-23 374
awk日志分割 1. awk实现日志按照日期分割 #!/bin/bash DATE=$(date -d yesterday +%Y-%m-%d) awk 'BEGIN{RS="'$DATE'"} /'ERROR'|'OutOfMemory'/ { print RS, $0}' pay-front.log.$DATE >> pay-front.error.log.$DATE ...
Linux 【awk 命令】文本切割工具
最新发布
qq_43606536的博客
08-02 1066
awk ：“Aho Weiberger and Kernighan”三个作者的姓的第一个字母 ：是一种处理文本文件的语言，是一个强大的文本分析工具。awk是逐行处理，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。
linux 日志拆分 awk,awk截取日志
weixin_39812465的博客
05-05 358
好久没有截取Nginx/haproxy 中 的日志了，竟有点不熟悉了。记录一下，以免以后忘记。Nginx 日志格式： 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0"http://192.168.1.124/app/kibana" "Mozilla/5...
awk切割日志笔记
小波的专栏（u012893325）
09-20 1581
//nginx 日志格式 1x.2.1xx.1xx - - [20/Sep/2017:00:00:01 +0800] xxxx-xxxx-xxxx-xxxx "GET /xxxx/xxxx/getFields?param=xxxxxxxxxxxxxx HTTP/1.1" 200 212 0.007 "-" "Apache-HttpClient/4.3.1 (java 1.5)” “xx.xxx.
linux 四剑客 find grep awk sed 日志切分
weixin_44562661的博客
01-18 317
一. find 格式 find /tmp -name “.log" -exec 命令名 - {} ; find /tmp -name ".log” | xargs rm -rf [有局限性 只支持r m] 参数; -size k M G 文件大小 -type d f b s c 文件类型 -maxdepth 1 查找深度   -atmie &a
实战Shell脚本—sed,awk使用
03-17
`sed`（流编辑器）和`awk`（一种编程语言）都是数据分析和文本转换的强大工具，尤其在处理日志文件、数据过滤和格式化方面表现出色。 `sed` 是“流编辑器”（Stream Editor）的缩写，它可以读取输入流（一个文件或...
shell编程-awk，sed，crontab
04-09
awk和sed常用于数据处理和文本转换，如日志分析、报告生成等。crontab则用于自动化日常维护任务，如备份、清理、监控等。通过熟练掌握这些工具，可以极大地提高工作效率和系统的自动化水平。在压缩包中的“awk详解....
sed awk高级编程案例
08-09
首先，关于如何从/etc/passwd文件中提取用户目录的问题，可以使用sed和awk两种工具。在使用sed时，可以通过正则表达式匹配并删除不需要的字段来实现，如通过's/^[^\/]*//;s/\:.*//'命令删除每行开头的非斜杠字符和...
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
Linux下日志按日分割的shell
09-15
主要介绍了Linux下日志按日分割的shell,需要的朋友可以参考下
linux shell脚本切割日志文件的方法
dataddd的博客
06-14 351
要求：一直监控时间，每天的24点将pwd获取当前路径下的log.log文件改名成当天日期文件，并创建新的log.log，并删除前7天的文件 #!/bin/bash # 获取当前工作目录 current_directory=$(pwd) # 主循环，持续监控时间 while true; do # 获取当前日期的小时和分钟 current_hour=$(date +"%H") current_minute=$(date +"%M") # 检查是否到达午夜（00:
使用awk分割日志将数据存入infobright列式数据库中
gu2664148379的博客
05-07 131
#!/bin/bash COMMON=$(date -d "yesterday" "+%Y_%m_%d")"common.log" CLI=$(date -d "yesterday" "+%Y_%m_%d")"cli.log" LOG_PATH="/home/admin/resource/logs/" awk -F '|' '{if ($3 != "-"){print $3 "," $11 "," $12 "," $13 "," $9 "," $10 "," $7 "," $8 "," $5 "," $4.
sed命令详解
Xiayebuliang的博客
11-25 1906
使用split命令进行文件分割（例如文件如果是百万行，就创建一个单独的目录将文件分割为一百个一万行的文本）在使用sed命令进行处理。注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生变化，除非使用 ‘sed -i ’ 修改源文件、或使用重定向输出道新的文件中。p：打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容；-e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
linux中sed关键字分割,Linux sed根据关键字所在行，然后删除其它关键字
weixin_39665847的博客
05-28 319
源码：smoketest:/tmp # cat 321.logcreate table "omuuser"."t_omu_spec_nic"("ID" NUMBER(19,0) not null,"NETWORKNAME" VARCHAR2(50 CHAR),"SPECNAME" VARCHAR2(255 CHAR) not null,primary key ("ID"));alter table...
Linux Sed与日志截取
程序员青菜学厨记
08-20 489
sed是流编辑器，一次处理一行数据，它先把当前一行数据存储在临时缓存区，然后用sed命令处理缓存区内容，处理完成后把缓存区内容输出到屏幕，接着再处理下一行，一直到文件末尾，与awk处理方式是一样的，并且原文件不会被改动。grep、sed、awk号称Linux文本处理三剑客，grep用于文本过滤，sed适合行处理，awk适合列处理，awk以前有两篇文章介绍过，今天介绍一下sed的使用。当需要排查以前某一个时间段的日志，日志文件比较大没有办法直接用vi打开，这时可以用sed将当时的日志截取出来进行分析。
shell脚本：使用awk对日志切割
zhutengfei1的博客
06-20 217
awk '/Failed p/{ip[$11]++}END{ for( i in ip){print i,ip[i]}}' /var/log/secure |sort -nr -k 2
Linux shell命令、sed与awk全面解析
"本文档详细介绍了Linux中的主要shell命令，以及sed和awk这两个强大的文本处理工具的使用方法。通过学习，读者将了解shell的作用、种类，特别是Bash shell的特点和操作，同时掌握shell命令的使用、sed进行文本流编辑...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值