python grep awk_三剑客-grep-awk-sed

最新推荐文章于 2024-07-02 16:35:58 发布
最新推荐文章于 2024-07-02 16:35:58 发布
阅读量119 收藏
点赞数
文章标签： python grep awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39791446/article/details/113480117
版权
本文介绍了Linux系统中用于文本处理的三剑客——grep、awk和sed，详细讲解了它们的基本用法和实例。通过grep进行内容过滤，awk进行内容过滤和统计，sed实现内容查找、替换和删除。示例包括使用grep的参数如-v, -E, -n, -o，awk的动作和内置变量，以及sed的追加、插入、替换和删除等功能。" 112768823,10539437,Jetson Nano实现神经网络目标识别：从车辆到人脸,"['神经网络hrrp目标识别', 'GPU计算', '深度学习', 'Jetson平台', '计算机视觉']
摘要由CSDN通过智能技术生成

三剑客-grep-awk-sed

grep

格式：

grep 参数 过滤文件内容 文件名称

cat file|grep '过滤的内容'

​ 参数： -v 取反

​ -E 支持扩展正则 | 或者 egrep ‘$|#’

​ -n 显示过滤内容的行号

​ -o 查看匹配过滤过程

例：

[root@oldboyedu ~]# grep root passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# grep root passwd -o

root

root

root

awk

awk 过滤内容和统计数据

格式：

​ awk '/匹配模式/{动作}' file

​ cat file|awk '模式{动作}'

参数：

​ awk中 动作的逗号 表示空格

​ awk 内置变量

​ $1 $2 过滤列

​ NR 过滤行号

​ , 即空格

​ NF 最后一列的列号

​ -F 指定分隔符

例：

只有模式没有动作 默认输出模式匹配到的内容

[root@oldboyedu ~]# awk '/root/' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# awk '/root/,/adm/' passwd #过滤出从root到adm的行

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

[root@oldboyedu ~]# awk 'NR==1' passwd #过滤行号等于1的行

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# awk -F: '$3==0' passwd #-F指定分隔符是冒号： $3是第三列 以：为分隔符过滤出第三列等于0的行

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# awk -F: '$3>0' passwd # 以：为分隔符过滤出第三列等于0的行

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin #第三列数值为用户的uid号

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

模式+动作 #过滤出root到adm的行中的第一列信息

[root@oldboyedu ~]# awk -F: '/root/,/adm/{print $1}' passwd

root

bin

daemon

adm

输出行号 #过滤行号，输出第一列信息--→行号

[root@oldboyedu ~]# awk -F: '{print NR,$0}' passwd

1 root:x:0:0:root:/root:/bin/bash

2 bin:x:1:1:bin:/bin:/sbin/nologin

3 daemon:x:2:2:daemon:/sbin:/sbin/nologin

4 adm:x:3:4:adm:/var/adm:/sbin/nologin

5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

wc 统计数量

-l 统计行号

-L 统计文件中最长的行的长度

[root@oldboyedu ~]# awk -F: ' $3>0 && $3<1000' /etc/passwd|wc -l

22 #过滤uid大于3和小于1000的行，wc -l 进行统计，由此可过滤出系统中的虚拟用户

[root@oldboyedu ~]# awk -F: '$3==0' /etc/passwd

root:x:0:0:root:/root:/bin/bash #过滤uid等于0的行

[root@oldboyedu ~]# awk -F: '$3==0' /etc/passwd|wc -l

1 #过滤uid等于0的行 wc -l 进行统计

[root@oldboyedu ~]# awk -F: '$3>=1000' /etc/passwd|wc -l

3

sed

sed 取行 过滤字符串 替换

格式:

sed '/过滤字符串/' file

cat file|sed '/过滤字符串/'

参数：

​-n 取消默认输出

​-i 修改源文件

​sed执行过程：

​ 一行一行的处理

​ 如果对当前的行 没有动作 默认输出到屏幕

​ sed 增 删 改 查

例：

sed 之 查内容

按照字符串匹配

[root@oldboyedu ~]# sed -n '/root/p' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# sed -n '/^root/p' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# sed -n '/^ro/p' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# sed -n '/sh$/p' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# sed -n '/root/,/adm/p' passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

[root@oldboyedu ~]# sed -n '3p' passwd

daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@oldboyedu ~]# sed -n '2p' passwd

bin:x:1:1:bin:/bin:/sbin/nologin

[root@oldboyedu ~]# sed -n '1p' passwd

root:x:0:0:root:/root:/bin/bash

[root@oldboyedu ~]# sed -n '1,3p' passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@oldboyedu ~]# sed -n '$p' passwd # 最后一列

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sed之增加内容

a 在n行后面追加新的内容

[root@oldboyedu ~]# cat test.txt

lidao 2

alex 2

oldboy 3

test 1

[root@oldboyedu ~]# sed '2a oldboy111' test.txt

lidao 2

alex 2

oldboy111

oldboy 3

test 1

i 在当前行插入新的内容

[root@oldboyedu ~]# sed '2i oldboy111' test.txt

lidao 2

oldboy111

alex 2

oldboy 3

test 1

c 替换当前整行的内容

[root@oldboyedu ~]# sed '2c oldboy111' test.txt

lidao 2

oldboy111

oldboy 3

test 1

[root@oldboyedu ~]# sed -i '7c SELINUX=disabled' /etc/selinux/config

w 保存当前的内容至文件 没啥用

[root@oldboyedu ~]# sed '1,3w newfile.txt' test.txt

lidao 2

alex 2

oldboy 3

test 1

sed之删除

格式:

sed '3d' file

[root@oldboyedu ~]# sed '3d' test.txt

lidao 2

alex 2

test 1

[root@oldboyedu ~]# sed '1,3d' test.txt

test 1

[root@oldboyedu ~]# sed '/root/d' passwd

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sed替换

sed 's#替换谁#替换成什么#g'

sed 's///g'

sed 's@@@g'

s 替换标志

g 全局替换

[root@oldboyedu ~]# sed 's#root#oldboy#g' passwd

oldboy:x:0:0:oldboy:/oldboy:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

oldboy:x:oldboy:var/var:sbin/login

[root@oldboyedu ~]# sed 's#200#201#g' /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE=Ethernet

BOOTPROTO=none

NAME=eth0

DEVICE=eth0

ONBOOT=yes

IPADDR=10.0.0.201

PREFIX=24

GATEWAY=10.0.0.254

[root@oldboyedu ~]# sed 's#[:/0-9x]# #g' /etc/passwd|xargs -n1|sort |uniq -c|sort -rn|head

25 sbin

19 nologin

8 bin

7 var

4 root

4 oldboy

4 bash

3 sync

3 spool

3 shutdown

[root@oldboyedu ~]# sed 's#[:/0-9]# #g' /etc/passwd|xargs -n1|awk '{count[$1]++}END{for(i in count) print i,count[i]}'|awk '{print $2,$1}'|sort -rn|head|grep -v x

25 sbin

19 nologin

8 bin

7 var

4 root

4 oldboy

4 bash

3 sync

3 spool

weixin_39791446
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python grep awk_文本处理三剑客：grep、sed和awk命令介绍
weixin_36060539的博客
12-24 734
搞Linux开发，经常会遇到对文本内容进行查找、编辑甚至进行某些分析处理的情况，比如说添加开机启动项、添加全局环境变量、定制化显示等。如果这些都采用Python脚本进行处理，那么未免有些小题大做。这里主要跟大家介绍一下，Linux处理文本的三剑客：grep、sed和awk。有了这三个命令，妈妈再也不用担心我的文本处理啦~grepgrep命令主要用于文本内容的查找。它支持正则表达式查找，命令格式为：...
shell编程-文本文件处理（grep sed awk文本三剑客）
01-07
一、grep和正则表达式 1、正则表达式 以一串字符作为表达式向系统传达意思（过滤匹配数据），元字符是描述字符的字符，正则表达式是有一串字符和元字符构成的字符串，主要功能为文本查询和字符串操作，匹配文本 大...
python grep awk_Linux三剑客grep、awk和sed
weixin_42314737的博客
01-28 230
grep，sed 和 awk是Linux/Unix 系统中常用的三个文本处理的命令行工具，称为文本处理三剑客。本文将简要介绍这三个命令并给出基本用法。管道在介绍这两个命令之前，有必要介绍一下Unix/Linux中管道(pipe)的概念。管道将一个命令/程序/进程的输出发送到另一个命令/程序/进程，以进行进一步处理。是一种进程间通信机制，使用管道符"|”将两个命令隔开，管道符左边命令的输出就会作为管...
python文件输出-Python 文件和输入输出小结
weixin_37988176的博客
11-01 213
1.打开和关闭文件（open(),file(),close()）有两种内建函数可以获取文件对象：open和file。他们的用法完全一样。下面只以open()为例子讲解。获取一个文件对象（打开文件）的语法如下：fileObj = open(filename,access_mode='r',buffering=-1)filename不用说你也应该知道是你要打开文件的路径。access_mode用来标识...
grep awk用法
liujicailiujitian的博客
05-28 2255
1、grep 常用用法总结 grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。 grep常用的用法 格式 grep [-acinv] [–color=auto] ‘搜索字符串’ filename 选项和参数： -a 将二进制文件以文本方式搜索数据 -c 计算找到 ”搜寻字符串“ 的次数 -i 忽略大小写 -n 顺便输
LINUX 三剑客(grep---sed-----awk)
BJLLWXZ博客
07-02 1039
f 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。-A : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。-C 除了显示符合样式的那一行之外，并显示该行之前后的内容。-B 除了显示符合样式的那一行之外，并显示该行之前的内容。-h : 在显示符合样式的那一行之前，不标示该行所属的文件名称。-H : 在显示符合样式的那一行之前，表示该行所属的文件名称。
玩转linux三剑客-grep sed awk学习-入门篇
abcnull 的博客
01-07 630
文章目录介绍grep（global regular expression print 全局正则表达式打印）sed（stream editor 流编辑器）awk（Alfred Aho，Peter Weinberger，Brian Kernighan 三人姓氏首字母） 介绍 三剑客有 awk，sed，grep。三剑客结合正则表达式来使用。 grep 擅长正则查找行，sed 擅长替换，awk 擅长取列并...
Shell ❀ 三剑客 - Grep + Sed + Awk
无糖可乐没有灵魂
12-23 2878
awk允许用户自定义变量，变量名命名规则与大多数编程语言相同，只能使用字母、数字和下划线，且不能以数字开头，awk变量名称区分字符大小写；# 在awk中给变量赋值使用赋值语句进行赋值 [ root@localhost shell ] # awk 'BEGIN{test="hello";print test}' hello # 在awk中使用赋值变量 [ root@localhost shell ] # awk -v test="hello" 'BEGIN {print test}' hello。
玩转linux三剑客-grep sed awk学习-进阶篇
abcnull 的博客
05-15 429
文章目录前言一些小问题grep格式OPTION 选项sed格式例子awk格式例子 前言 前提是要掌握以下内容，才能很好的学习本片博文，此篇博文做深入学习和以往知识复习之用。以下这些知识点可以查看博主的 linux 栏目的内容，都有作很详细的针对性的介绍使用 正则表示的运用 linux 三剑客的基本熟悉了解 linux 一些命令的使用熟悉了解 一些小问题 # shell 单引号还是双引号问题 shell 中单引号中的是原始字符串，不能起到转义变量的作用 双引号中的可以是变量，从而表示新字符串，也就是说双引
CentOS-7-x86_64-Minimal-1708.zip
02-17
7. **Linux命令行工具**：例如`ls`, `cd`, `mkdir`, `rm`, `vi/vim`, `grep`, `find`, `awk`, `sed`等，是进行系统管理的基础。 8. **网络配置**：在最小化安装中，通常需要手动配置网络，包括IP地址、子网掩码、...
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外...
linux基础命令：三剑客-awk、sed、grep，定时任务crontab
08-21
linux基础命令：三剑客-awk、sed、grep，定时任务crontab
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
PPT模板培训课件200MPPT模板培训课件200M
09-03
PPT模板培训课件200MPPT模板培训课件200M提取方式是百度网盘分享地址
2023-04-06-项目笔记 - 第二百四十五阶段 - 4.4.2.243全局变量的作用域-243 -2025.09.03
最新发布
09-03
2023-04-06-项目笔记-第二百四十五阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.243局变量的作用域_243- 2024-09-03
（全新整理）2020年中国分省高精度森林覆盖数据集（省边界SHP+森林覆盖栅格数据）
09-03
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141282949 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 基本信息 存储量：1.47GB 时间范围：2020年 空间范围：中国各省 数据格式：GeoTIFF 格式的栅格数据+Shp矢量格式
thulac：清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包
09-03
thulac（Python实现）：清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包 THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。THULAC具有如下几个特点： 能力强。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。 准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％，与该数据集上最好方法效果相当。 速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。
基于Springboot的老年一站式服务平台演示+源代码+演示视频.zip
09-03
开发语言：Java 框架：springboot|ssm 技术：JSP JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7（一定要5.7版本） 数据库工具：Navicat11 开发软件：eclipse/myeclipse/idea Maven包：Maven3.3.9 浏览器：谷歌浏览器 具体功能请看视频演示
Linux三剑客：AWK, SED, Grep详解与高效应用
Linux三剑客，即awk、sed和grep，是Unix和Linux环境中三个强大的文本处理工具，对于提升Linux系统的文本分析和数据处理能力具有关键作用。这些工具在初学者和高级用户中都十分实用，无论是在数据筛选、格式转换还是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值