Shell脚本：文本文件处理工具（字符截取和过滤）

已于 2022-01-31 00:10:57 修改
阅读量2.6k 收藏
点赞数
分类专栏： Shell脚本 文章标签： bash 服务器 linux
于 2022-01-30 21:45:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pokes/article/details/122756272
版权

5、文本文件处理工具

grep行截取(重点)

行过滤工具，用于根据关键字进行行过滤。

语法：grep [选项] '关键字' 文件名，例如：

[root@localhost ~]# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

常用的选项：

grep -n root /etc/passwd    #-n显示行号
grep -ni root /etc/passwd   #-i忽略大小写
grep -ni ^root /etc/passwd  #^表示以root开头
grep -ni bash$ /etc/passwd  #$表示以bash结尾
grep -niv bash$ /etc/passwd #-v表示取反
grep -w hello /etc/passwd   #-w以单词搜索

cut列截取(重点)

列截取工具

[root@localhost ~]# head /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin

#截取以：为分隔符的第一列和第七列
[root@localhost ~]# cut -d: -f1,7 /etc/passwd   
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
adm:/sbin/nologin
lp:/sbin/nologin
sync:/bin/sync
shutdown:/sbin/shutdown
halt:/sbin/halt
mail:/sbin/nologin
operator:/sbin/nologin
games:/sbin/nologin
ftp:/sbin/nologin
nobody:/sbin/nologin
systemd-network:/sbin/nologin
dbus:/sbin/nologin
polkitd:/sbin/nologin
postfix:/sbin/nologin
sshd:/sbin/nologin
chrony:/sbin/nologin
ntp:/sbin/nologin
tcpdump:/sbin/nologin

[root@localhost ~]# cut -d: -f1,7 /etc/passwd|head   #head表示前10行
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
adm:/sbin/nologin
lp:/sbin/nologin
sync:/bin/sync
shutdown:/sbin/shutdown
halt:/sbin/halt
mail:/sbin/nologin
operator:/sbin/nologin

#截取从左边开始的的5个字符
[root@localhost ~]# cut -c1-5 /etc/passwd   #-c以字符截取
root:
bin:x
daemo
adm:x
lp:x:
sync:
shutd
halt:
mail:
opera
games
ftp:x
nobod
syste
dbus:
polki
postf
sshd:
chron
ntp:x
tcpdu
[root@localhost ~]# cut -c10- /etc/passwd   #从第10个字符开始到结束截取
0:root:/root:/bin/bash
:bin:/bin:/sbin/nologin
2:2:daemon:/sbin:/sbin/nologin
:adm:/var/adm:/sbin/nologin
lp:/var/spool/lpd:/sbin/nologin
0:sync:/sbin:/bin/sync
x:6:0:shutdown:/sbin:/sbin/shutdown
0:halt:/sbin:/sbin/halt
12:mail:/var/spool/mail:/sbin/nologin
x:11:0:operator:/root:/sbin/nologin
2:100:games:/usr/games:/sbin/nologin
50:FTP User:/var/ftp:/sbin/nologin
99:99:Nobody:/:/sbin/nologin
etwork:x:192:192:systemd Network Management:/:/sbin/nologin
:81:System message bus:/:/sbin/nologin
:999:997:User for polkitd:/:/sbin/nologin
:89:89::/var/spool/postfix:/sbin/nologin
:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
998:996::/var/lib/chrony:/sbin/nologin
38::/etc/ntp:/sbin/nologin
:72:72::/:/sbin/nologin

sort排序

[root@localhost ~]# cat -n passwd   #-n是现实行号
     1	root:x:0:0:root:/root:/bin/bash
     2	bin:x:1:1:bin:/bin:/sbin/nologin
     3	daemon:x:2:2:daemon:/sbin:/sbin/nologin
     4	adm:x:3:4:adm:/var/adm:/sbin/nologin
     5	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
     6	sync:x:5:0:sync:/sbin:/bin/sync
     7	shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
     8	halt:x:7:0:halt:/sbin:/sbin/halt
     9	mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    10	operator:x:11:0:operator:/root:/sbin/nologin
    11	games:x:12:100:games:/usr/games:/sbin/nologin
    12	ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    13	nobody:x:99:99:Nobody:/:/sbin/nologin
    14	systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
    15	dbus:x:81:81:System message bus:/:/sbin/nologin
    16	polkitd:x:999:997:User for polkitd:/:/sbin/nologin
    17	postfix:x:89:89::/var/spool/postfix:/sbin/nologin
    18	sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
    19	chrony:x:998:996::/var/lib/chrony:/sbin/nologin
    20	ntp:x:38:38::/etc/ntp:/sbin/nologin
    21	tcpdump:x:72:72::/:/sbin/nologin
    
##以UID排序，默认是以升序排列
[root@localhost ~]# sort -n -t: -k3 passwd   #-n是以字符排序，-t是分隔符，-k是UID
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
[root@localhost ~]#

##以UID降序排序

[root@localhost ~]# sort -nr -t: -k3 passwd        #-r表示以降序排列
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash

[root@localhost ~]# sort -nr -t: -k3 passwd -o pass.txt    #-o表示不打印在屏幕，写入到文件中
[root@localhost ~]# ls
anaconda-ks.cfg  pass.txt  passwd


-u是去重

uniq去除连续的重复行

省略

兔子王cool
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统shell脚本之过滤文本关键字
jks212454的博客
05-16 1476
Linux系统shell脚本之过滤文本关键字
Shell脚本学习指南之文本处理工具
01-10
4.1 排序文本 4.1.1 行的排序未提供命令行选项时，整个记录会根据当前locale所定义的次序排序。在传统的C locale中，也就是ASCII顺序。 4.1.2 以字段排序-k选项的后面接着的是一个字段编号，或者是一对数字。每个编号后面都可以接一个点号的字符位置，或修饰符字母。 如果仅指定一个字段编号，则排序键值会自该字段的起始处开始，一直继续到记录的结尾（而非字段的结尾）。 如果给的是一对用逗号隔开的字段数字，则排序键值将由第一个字段值的起始处开始，结束于第二个字段值的结尾。使用点号表示字符位置。-k2.4, 5.6指的是从第二个字段的第四个字符开始比较，一直比到第五个字段的第六个字
shell 删除指定字符串
大数据技术杂谈
12-13 5028
sed -e '/abc/d'  a.txt   // 删除a.txt中含"abc"的行，但不改变a.txt文件本身，操作之后的结果在终端显示 sed '/abc/d;/efg/d' a.txt > a.log    // 删除含字符串"abc"或“efg"的行，将结果保存到a.log
shell中常用命令
weixin_42726887的博客
05-12 2981
shell中常用命令，如find，for循环遍历等
shell的中的字符串处理
u011529752的博客
07-31 3553
去掉从左数最后一个 “/” 及其左边的所有字符，其中 “/” 也可以替换为其他字符。去掉从左数第一个”/”及其右边的所有字符，其中 “/” 也可以替换为其他字符。
shell sed替换、删除文件中的某个字符串 以及特殊字符
qq_19316267的博客
12-26 1万+
1、将当前目录下包含hello串的文件中，hello字符串替换为hi sed -i "s/hello/hi/g" `grep "hello" -rl ./` 2、将某个文件中的hello字符串替换为hi sed -i "s/hello/hi/g" test.txt 3、删除行首空格 sed -i 's/^ //g' test 4、删除行尾空格 sed -i 's/ $/...
shell sed替换、删除文件中的某个字符串
热门推荐
虞美人莉
03-13 5万+
1、将当前目录下包含hello串的文件中，hello字符串替换为hi sed -i "s/hello/hi/g" `grep "hello" -rl ./` 2、将某个文件中的hello字符串替换为hi sed -i "s/hello/hi/g" test.txt
shell 字符串操作 ${} 的截取，删除，和 替换
喜欢打篮球的普通人
10-14 2389
文章目录1.字符串截取2.字符串匹配删除3.匹配替换 1.字符串截取 字符长度 [user@host dir]$ str=123abc123 [user@host dir]$ echo ${#str} 9 从左边截取 ${string:position:length} :从字符串 string 的 position 位置截取 length 个字符串 [user@host dir]$ str=123abc123 [user@host dir]$ echo ${str:3:3} abc [user
linux shell脚本按行按关键字过滤字符串（sed常用用法）
大吉的博客
10-07 5260
需求 对 {"code":200,"message":"操作成功","data": somedatas 这一行进行过滤，要求只留下前面的状态码200 为了考虑到区分不出哪些是正则表达式，哪些是过滤条件，先过滤一部分： 测试：echo '{"code":200,"message":"操作成功","data":' | sed 's/^.*code//g' | sed 's/message.*$//g' 执行上述语句，过滤结果是：":200," 只留下200的过滤 很简单，只需要这么写表达式就行了 echo '{
Shell编程（四）文本过滤
coolwriter的博客
05-07 2199
文本过滤 简介：正则表达式、find介绍、grep介绍、awk介绍、sed介绍、合并与分割（sort、uniq、join、cut、paste、split）。 正则表达式 概念：一种用来描述文本模式的特殊语法 由普通字符（例如：字符a到z），以及特殊字符（元字符，如/ * ？等）组成匹配的字符串 文本过滤工具在某种模式之下，都支持正则表达式。 基本元字符集及其含义 练习 ...
Shell脚本统计当前目录下目录和文件的数量
09-15
主要介绍了Shell脚本统计当前目录下目录和文件的数量,Linux下如何统计当前目录下文件有多少个,目录又有多少个呢,使用本文脚本即可实现,需要的朋友可以参考下
shell脚本解析yaml文件变量工具
09-08
原文：https://editor.csdn.net/md/?articleId=120167145
Shell中的文本处理工具
01-09
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的 行 打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。 Tips ： ...
Linux已安装virtualenv 但还是报 bash: virtualenv: command not found 错误原因及解决
weixin_44131922的博客
04-26 339
在 linux 上已经安装了python和 virtualenv ，但是直接执行 virtualenv 相关的指令创建虚拟环境还是失败并且报错 bash: virtualenv: command not found。find 后的/user/local为指定的查找路径，可以自行替换 ，会出现很多结果列表 仔细辨认，正确的那一个最后只有 virtualenv 这一个名 没有其他前后缀。最后一段基本是固定的 第一段路径为我们找到的路径。
【vscode】2024最新！vscode设置默认终端为git bash
qq_43816375的博客
04-27 242
小tian最近电脑系统重装，刚好可以重新配置一下前端环境和工具，以此专栏记录一下前端工具配置和环境相关内容。vscode如何设置默认终端为git bash？
bash: ../configure: /bin/sh^M: bad interpreter: No such file or directory
uuyymilkyl的博客
04-26 519
这个错误通常是由于Windows平台下的文本格式导致的，而在Linux下则会被解释为错误。解决这个问题的方法之一是使用。命令将脚本转换为Unix格式。
多服务器上的 docker 实现互相访问
fdcp123的专栏
04-23 323
最后，通过 ssh Server_x(x∈[1,n])就可以实现n个容器之间的互相访问了。如何实现着 n 个docker之间的互相访问呢？
WinForms 应用程序中使用 SignalR 连接到服务器
最新发布
一个专注于技术研究创新的程序员
04-29 273
假设您已经在服务器端实现了名为 SignalRHub 的 SignalR Hub，并且该 Hub 包含了一个名为 SendMessage 的方法，用于接收来自客户端的消息，并将其广播给所有连接的客户端。客户端在收到消息时调用名为 ReceiveMessage 的方法来处理。
1. 2XX (Success 成功状态码)
2402_83160520的博客
04-23 247
状态码2XX表示请求被正常处理了。
shell脚本 文本处理
07-29
在shell脚本中，文本处理是一个非常常见的任务。有三个常用的工具被称为"文本处理三剑客"，它们分别是grep、sed和awk。[1]grep命令用于在文件中搜索指定的模式，并将匹配的行打印出来。sed命令用于对文本进行编辑和转换，可以实现删除、替换、追加等操作。awk命令是一种强大的文本处理工具，它可以根据指定的规则对文本进行分割、过滤和格式化输出。 在shell脚本中，可以使用这些工具来处理文本文件。例如，可以使用grep命令搜索文件中包含特定关键字的行，使用sed命令对文件进行编辑和转换，使用awk命令对文件进行分割和格式化输出。[2] 需要注意的是，对于shell脚本中的文本处理，掌握正则表达式是非常重要的。正则表达式是一种用于描述模式的语法，可以用来匹配和操作文本中的字符串。学习正则表达式可能会有一些难度，但是一旦掌握了它，将会对文本处理非常有帮助。因此，强烈建议学好正则表达式，并多加练习。[3]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值