shell关于sed，awk日志分割

最新推荐文章于 2024-08-02 21:30:07 发布
最新推荐文章于 2024-08-02 21:30:07 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： linux问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bob_tthp/article/details/77097180
版权

首先是一段日志内容：

[09/Aug/2017:12:00:05 +0800]

[09/Aug/2017:12:00:08 +0800]
[09/Aug/2017:12:00:12 +0800]
[09/Aug/2017:12:00:15 +0800]
[09/Aug/2017:12:00:19 +0800]
[09/Aug/2017:12:00:57 +0800]
[09/Aug/2017:12:01:05 +0800]
[09/Aug/2017:12:01:07 +0800]
[09/Aug/2017:12:01:08 +0800]
[09/Aug/2017:12:01:09 +0800]
[09/Aug/2017:12:01:13 +0800]
[09/Aug/2017:12:02:58 +0800]
[09/Aug/2017:12:03:00 +0800]
[09/Aug/2017:12:03:04 +0800]
[09/Aug/2017:12:03:09 +0800]
[09/Aug/2017:12:03:12 +0800]
[09/Aug/2017:12:03:16 +0800]
[09/Aug/2017:12:03:19 +0800]
[09/Aug/2017:12:07:35 +0800]
[09/Aug/2017:12:07:36 +0800]
[09/Aug/2017:12:07:36 +0800]


取中间一段内容：

sed '/12:00:05/,/12:03:19/p' test -n

以一定规则分割：

awk '{print $1}' test |sed  's#\[##g'| awk -F ':' -vOFS=':' '{print $1,$2,$3}' |sed '/[0-2]$/p' -n

还可以cut -d' ' -f 

bobtthp
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Shell中的sed和awk的用法
y_yang666的博客
12-27 1244
######sed###### 一.sed简介： 1.SED(stream editor)是一项Linux指令，功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强大。 2.sed 编辑器逐行处理文件（或输入），并将输出结果发送到屏幕。 sed 的命令就是在 vi和 ed/ex 编辑器中见到的那些。 sed 把当前正在处理的行保存在一个临时缓存区中...
Shell编程之Sed与Awk 工具
XuMin6的博客
12-12 385
Shell编程之Sed与Awk ​ Sed（Stream EDitor）是一个强大而简单的文本解析转换工具，可以读取文本，并根据指定的条件对文本内容进行编辑（删除、替换、添加、移动等），最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作，被广泛应用于 Shell 脚本中，用以完成各种自动化处理任务 。 一：sed 的工作流程主要包括读取...
日志分割带有完整的说明，对linux上面产生的日志进行分割
04-04
日志分割带有完整的说明，对linux上面产生的日志进行分割日志分割带有完整的说明，对linux上面产生的日志进行分割
awk日志分割
weixin_30500289的博客
05-23 371
awk日志分割 1. awk实现日志按照日期分割 #!/bin/bash DATE=$(date -d yesterday +%Y-%m-%d) awk 'BEGIN{RS="'$DATE'"} /'ERROR'|'OutOfMemory'/ { print RS, $0}' pay-front.log.$DATE >> pay-front.error.log.$DATE ...
Linux 【awk 命令】文本切割工具
最新发布
qq_43606536的博客
08-02 975
awk ：“Aho Weiberger and Kernighan”三个作者的姓的第一个字母 ：是一种处理文本文件的语言，是一个强大的文本分析工具。awk是逐行处理，当awk处理一个文本时，会一行一行进行处理，处理完当前行，再处理下一行，awk默认以"换行符"为标记，识别每一行，，awk会按照用户指定的分割符去分割当前行，如果没有指定分割符，默认使用空格作为分隔符。
linux 日志拆分 awk,awk截取日志
weixin_39812465的博客
05-05 356
好久没有截取Nginx/haproxy 中 的日志了，竟有点不熟悉了。记录一下，以免以后忘记。Nginx 日志格式： 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0"http://192.168.1.124/app/kibana" "Mozilla/5...
awk切割日志笔记
小波的专栏（u012893325）
09-20 1578
//nginx 日志格式 1x.2.1xx.1xx - - [20/Sep/2017:00:00:01 +0800] xxxx-xxxx-xxxx-xxxx "GET /xxxx/xxxx/getFields?param=xxxxxxxxxxxxxx HTTP/1.1" 200 212 0.007 "-" "Apache-HttpClient/4.3.1 (java 1.5)” “xx.xxx.
linux 四剑客 find grep awk sed 日志切分
weixin_44562661的博客
01-18 317
一. find 格式 find /tmp -name “.log" -exec 命令名 - {} ; find /tmp -name ".log” | xargs rm -rf [有局限性 只支持r m] 参数; -size k M G 文件大小 -type d f b s c 文件类型 -maxdepth 1 查找深度   -atmie &a
实战Shell脚本—sed,awk使用
03-17
`sed`（流编辑器）和`awk`（一种编程语言）都是数据分析和文本转换的强大工具，尤其在处理日志文件、数据过滤和格式化方面表现出色。 `sed` 是“流编辑器”（Stream Editor）的缩写，它可以读取输入流（一个文件或...
shell编程-awk，sed，crontab
04-09
awk和sed常用于数据处理和文本转换，如日志分析、报告生成等。crontab则用于自动化日常维护任务，如备份、清理、监控等。通过熟练掌握这些工具，可以极大地提高工作效率和系统的自动化水平。在压缩包中的“awk详解....
sed awk高级编程案例
08-09
首先，关于如何从/etc/passwd文件中提取用户目录的问题，可以使用sed和awk两种工具。在使用sed时，可以通过正则表达式匹配并删除不需要的字段来实现，如通过's/^[^\/]*//;s/\:.*//'命令删除每行开头的非斜杠字符和...
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
shell脚本之AWK-AWK的详细介绍
chen__yang_的博客
03-16 1357
一、AWK简介 二、AWK功能 三、AWK的工作流程 四、AWK程序执行 五、AWK的基本语法
linux shell脚本切割日志文件的方法
dataddd的博客
06-14 323
要求：一直监控时间，每天的24点将pwd获取当前路径下的log.log文件改名成当天日期文件，并创建新的log.log，并删除前7天的文件 #!/bin/bash # 获取当前工作目录 current_directory=$(pwd) # 主循环，持续监控时间 while true; do # 获取当前日期的小时和分钟 current_hour=$(date +"%H") current_minute=$(date +"%M") # 检查是否到达午夜（00:
使用awk分割日志将数据存入infobright列式数据库中
gu2664148379的博客
05-07 131
#!/bin/bash COMMON=$(date -d "yesterday" "+%Y_%m_%d")"common.log" CLI=$(date -d "yesterday" "+%Y_%m_%d")"cli.log" LOG_PATH="/home/admin/resource/logs/" awk -F '|' '{if ($3 != "-"){print $3 "," $11 "," $12 "," $13 "," $9 "," $10 "," $7 "," $8 "," $5 "," $4.
sed命令详解
Xiayebuliang的博客
11-25 1901
使用split命令进行文件分割（例如文件如果是百万行，就创建一个单独的目录将文件分割为一百个一万行的文本）在使用sed命令进行处理。注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生变化，除非使用 ‘sed -i ’ 修改源文件、或使用重定向输出道新的文件中。p：打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容；-e 或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
linux中sed关键字分割,Linux sed根据关键字所在行，然后删除其它关键字
weixin_39665847的博客
05-28 318
源码：smoketest:/tmp # cat 321.logcreate table "omuuser"."t_omu_spec_nic"("ID" NUMBER(19,0) not null,"NETWORKNAME" VARCHAR2(50 CHAR),"SPECNAME" VARCHAR2(255 CHAR) not null,primary key ("ID"));alter table...
Linux日志文件切割的6种方法
IT屌丝
02-23 4197
介绍linux环境下日志文件切割处理6种命令和方法
Shell基础与sed,awk命令详解
"这篇资源是关于shell基础以及sed、awk工具的使用教程，适用于系统管理员和初学者。它涵盖了shell的基础知识，如命令解释器、自动化运维脚本、shell类型和切换，以及脚本结构、执行方式。同时，还讲解了历史命令、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值