【笔记】三剑客之sed、grep & sort & uniq

已于 2022-05-17 15:08:10 修改
阅读量637 收藏 1
点赞数
分类专栏： 笔记 文章标签： linux 服务器
于 2022-05-16 20:18:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AHui_CSDN/article/details/124805364
版权

grep

#模糊过滤行 查找文件中包含内容的行
语法结构:
grep [参数选项] ‘过滤内容’ file1 file2
cat file1|grep ‘过滤内容’ # 可以过滤任何命令输出到屏幕上的内容

参数选项:

  • -v 取反
  • -E 支持扩展正则 | + () grep -E 相当于 egrep
  • -r 递归过滤
  • -w 过滤单词
  • -o 显示匹配的过程
  • -n 显示匹配内容的行号

案例: -v 取反 排除文件中的空行和#

[root@ahui ~]#egrep -v '^#|^$' /etc/selinux/config 
SELINUX=disabled
SELINUXTYPE=targeted

案例: -r 递归过滤 查找/code/目录下所有包含www.huangse.com 的文件

[root@ahui ~]#echo www.huangse.com > /code/test/1.txt
[root@ahui ~]#touch /code/code.txt
[root@ahui ~]#tree /code
/code
├── code.txt
├── index.html
└── test
	└── 1.txt

1 directory, 3 files

[root@ahui ~]#grep -r 'www.huangse.com' /code/
/code/index.html:www.huangse.com
/code/test/1.txt:www.huangse.com

案例: -w 过滤单词

[root@ahui ~]#cat 2.txt 
ahuiyyyy
ahui
aahui
test
[root@ahui ~]#grep 'ahui' 2.txt
ahuiyyyy
ahui
aahui
[root@ahui ~]#grep -w 'ahui' 2.txt
ahui

过滤数字

[root@ahui ~]#seq 100 > 2.txt
[root@ahui ~]#grep -w '1' 2.txt 
1
[root@ahui ~]#grep  '2' 2.txt 
2
12
22
32
..... #太长

sed

作用:

  1. 模糊过滤文件内容
    输出指定的行
    输出指定行的区间
  2. 替换输出的内容 不修改源文件 临时替换(替换输出到屏幕上的内容)
    替换文件内容 永久替换(原文件被修改)
  3. 后向引用

参数选项:

  • -n 取消默认输出

语法结构:

  • sed ‘/模式/动作’ file
  • sed ‘/找谁/干啥’ file
  • sed ‘/找女友/干’ file

模式: 在文件中查找什么内容 以什么方式查找
按照指定行查找:

  • sed ‘3p’
  • sed ‘1,3p’
  • sed ‘/root/p’
  • sed ‘/root/,/adm/p’
  • sed ‘/^r/p’

动作: 对查找到内容的行做什么

动作:

  • p print 输出 重点
  • d delete 删除 重点
  • a 追加内容
  • i 插入内容
  • c 替换内容
  • w 保存内容到文件中

注意: 如果只有动作没有模式 则对所有的行进行操作

sed -n ‘np’ file # n为数字 输出指定的行
sed -n ‘n,np’ file # 显示指定行的区间

案例1: sed 按照指定行进行查找

输出文件中的第三行

[root@ahui ~]#sed -n '3p' ahui.txt 
$ahui

案例2: 显示文件的最后一行

[root@ahui ~]#sed -n '$p' ahui.txt
lizhenyalizhenyalizhenya

案例3: 输出指定行的区间范围

[root@ahui ~]#sed -n '3,5p' ahui.txt 
$ahui
I teach linux.
test

案例4: 删除第3行 只是在屏幕上删除 不会修改原文件

[root@ahui ~]#sed  '3d' id.txt 	

#删除3到5行的内容
[root@ahui ~]#sed '3,5d' id.txt

#删除第3行到文件的末尾
[root@ahui ~]#sed '3,$d' id.txt

字符串过滤: 模糊过滤文件内容 类似 grep 模糊过滤

   按照字符串进行过滤

语法结构:
sed -n ‘/模糊过滤内容/动作’ file

案例1: 查找包含root的行

	[root@ahui ~]#head -5 /etc/passwd > passwd.txt
	[root@ahui ~]#cat passwd.txt 
	root:x:0:0:root:/root:/bin/bash
	bin:x:1:1:bin:/bin:/sbin/nologin
	daemon:x:2:2:daemon:/sbin:/sbin/nologin
	adm:x:3:4:adm:/var/adm:/sbin/nologin
	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

	[root@ahui ~]#sed -n '/root/p' passwd.txt 
	root:x:0:0:root:/root:/bin/bash

	
	[root@ahui ~]#sed -n '/bin/p' passwd.txt 
	root:x:0:0:root:/root:/bin/bash
	bin:x:1:1:bin:/bin:/sbin/nologin
	daemon:x:2:2:daemon:/sbin:/sbin/nologin
	adm:x:3:4:adm:/var/adm:/sbin/nologin
	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例2: sed过滤以d开头的行

[root@ahui ~]#sed -n '/^d/p' passwd.txt 
daemon:x:2:2:daemon:/sbin:/sbin/nologin

案例3: sed 过滤以bash结尾的行

[root@ahui ~]#sed -n '/bash$/p' passwd.txt 
root:x:0:0:root:/root:/bin/bash

案例4: 删除模糊过滤到的行

删除包含root的行

[root@ahui ~]#sed  '/root/d' passwd.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例4: 模糊过滤区间范围

sed -n ‘//,//p’
过滤从1到3之间的所有内容

[root@ahui ~]#cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin	
[root@ahui ~]#sed -n '/1/,/3/p' passwd.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
	
[root@ahui ~]#sed -n '/linux/,/blog/p' ahui.txt 
I teach linux.
test
$0 aaaa
$# bbbbbb
	I like badminton ball ,billiard ball and chinese chess!
my blog is http: blog.51cto.com

案例5: 使用正则进行范围匹配

[root@ahui ~]#cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

# 查找第二行的bin到 adm结尾的中间所有行
[root@ahui ~]#sed -n '/bin/,/adm/p' passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@ahui ~]#sed -n '/^bin/,/^adm/p' passwd.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

###企业案例: 过滤从凌晨4点到下午4点的日志

[root@linuxnc ~]# sed -n '/2021:03:50:09/,/2021:15:58:27/p' access.log
#过滤的是唯一字符串的区间

注意事项: 贪婪匹配

  1. 如果有开头没有结尾则显示所有的内容

  2. 如果没有开头只有结尾 则不显示任何内容

  3. 找到结尾显示到结尾 找不到就全显示出来了

增加内容 不会修改原文件

案例: a 追加内容

追加hehe到第三行的下面

[root@ahui ~]#cat 3.txt 
lidao  aaaaaaaaaaaa
ahui 123
uuuuu
test   456
ahui 123
bbbbb
ccccc
[root@ahui ~]#sed '3a hehe' 3.txt 
lidao  aaaaaaaaaaaa
ahui 123
uuuuu
hehe
test   456
ahui 123
bbbbb
ccccc

案例2: i 插入

[root@ahui ~]#cat 3.txt 
lidao  aaaaaaaaaaaa
ahui 123
uuuuu
test   456
ahui 123
bbbbb
ccccc
[root@ahui ~]#sed '2i oldgirl' 3.txt 
lidao  aaaaaaaaaaaa
oldgirl
ahui 123
uuuuu
test   456
ahui 123
bbbbb
ccccc

案例3: 替换整行

将第三行内容替换成lidao

[root@ahui ~]#cat 3.txt 
lidao  aaaaaaaaaaaa
ahui 123
uuuuu
test   456
ahui 123
bbbbb
ccccc
[root@ahui ~]#sed '3c lidao' 3.txt 
lidao  aaaaaaaaaaaa
ahui 123
lidao
test   456
ahui 123
bbbbb
ccccc

案例4: 按照模糊过滤进行 a i c

在root行的下面追加一行ahui

[root@ahui ~]#sed '/root/a ahui' passwd.txt 
root:x:0:0:root:/root:/bin/bash
ahui
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@ahui ~]#sed '/root/i ahui' passwd.txt 
ahui
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin

将包含root的行 替换成 ahui

[root@ahui ~]#sed '/root/c ahui' passwd.txt 
ahui
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例: 修改selinux配置文件

替换第7行内容 如果修改源文件 -i参数

[root@ahui ~]#sed '7c SELINUX=disabled' /etc/selinux/config
[root@ahui ~]#cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
[root@ahui ~]#sed -i '/root/c ahui' passwd.txt 
[root@ahui ~]#cat passwd.txt 
ahui
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
ahui
ahui
ahui
ahui

案例: w 保存行到文件中

将第4行写入到id.txt中

[root@ahui ~]#sed '4w z.txt' id.txt

过滤包含赵的行写入到文件中

[root@ahui ~]#sed '/赵/w z.txt' id.txt 
[root@ahui ~]#sed -n '4p' id.txt >> z.txt 
[root@ahui ~]#cat z.txt 
万 5ahui
万 5ahui

替换文件中的内容

语法结构:
sed ‘s#替换谁#替换成谁#’ file 替换的每一行的第一个内容
sed ‘s#替换谁#替换成岁#g’ file 替换所有内容
sed ‘s###g’ 可使用任意三个符号
sed ‘s///g’
sed ‘s@@@g’

[root@ahui ~]#head -5 /etc/passwd > passwd.txt 
[root@ahui ~]#cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例1: s### 替换 只替换出现root行的 第一个root 了解

[root@ahui ~]#sed 's#root#ahui#' passwd.txt 
ahui:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
ahui:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例2: s###g 替换所有root为ahui

[root@ahui ~]#sed 's#root#ahui#g' passwd.txt 
ahui:x:0:0:ahui:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
ahui:x:0:0:ahui:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

如果遇到替换的内容和语法相同 修改语法的符号或者使用\

[root@ahui ~]#cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@ahui ~]#sed 's//root//ahui/g' passwd.txt 
sed: -e expression #1, char 9: unknown option to `s'
[root@ahui ~]#sed 's/\/root/\/ahui/g' passwd.txt 
root:x:0:0:root:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
root:x:0:0:root:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@ahui ~]#sed 's#/root#/ahui#g' passwd.txt 
root:x:0:0:root:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
root:x:0:0:root:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

-i 永久替换修改源文件

[root@ahui ~]#sed -i 's#/root#/ahui#g' passwd.txt 
	[root@ahui ~]#cat passwd.txt 
	root:x:0:0:root:/ahui:/bin/bash
	bin:x:1:1:bin:/bin:/sbin/nologin
	daemon:x:2:2:daemon:/sbin:/sbin/nologin
	root:x:0:0:root:/ahui:/bin/bash
	adm:x:3:4:adm:/var/adm:/sbin/nologin
	lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

案例3: 删除文件中所有的字母

[root@ahui ~]#sed 's#[a-z]##g' passwd.txt 
::0:0::/://
::1:1::/://
::2:2::/://
::0:0::/://
::3:4:://://
::4:7::///://

案例4: 替换文件中所有的: 为空格

[root@ahui ~]#sed 's#:# #g' passwd.txt 
root x 0 0 root /ahui /bin/bash
bin x 1 1 bin /bin /sbin/nologin
daemon x 2 2 daemon /sbin /sbin/nologin
root x 0 0 root /ahui /bin/bash
adm x 3 4 adm /var/adm /sbin/nologin
lp x 4 7 lp /var/spool/lpd /sbin/nologin

案例5:只有动作对所有的内容进行查找替换

[root@ahui ~]#sed 's#root#ahui#g' passwd.txt 
ahui:x:0:0:ahui:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
ahui:x:0:0:ahui:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sed的动作由p 或者 d 替换成 s###g

[root@ahui ~]#sed '4s#root#ahui#g' passwd.txt
root:x:0:0:root:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
ahui:x:0:0:ahui:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

 [root@ahui ~]#sed '1,4s#root#ahui#g' passwd.txt
ahui:x:0:0:ahui:/ahui:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
ahui:x:0:0:ahui:/ahui:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

通过模糊过滤内容进行替换

[root@ahui ~]#sed '/root/s#bash#hehe#g' passwd.txt 
root:x:0:0:root:/ahui:/bin/hehe
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
root:x:0:0:root:/ahui:/bin/hehe
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sort排序命令

sort 默认按照第一列的内容排序
语法结构:
cat file| sort
sort file
参数：

  • -n 按照数字正序排序
  • -r 逆序排序
  • -rn 按照数字进行逆序排序 从大到小排序
  • -k 指定列数
  • -k2 指定第二列
  • -rnk2 将第二列进行数字的逆序排序
[root@ahui ~]#cat 3.txt
lidao
ahui
uuuuu
test
ahui
bbbbb
lidao
ahui
ccccc

sort可以让相同的单词挨着

[root@ahui ~]#sort 3.txt 
bbbbb
ccccc
lidao
lidao
ahui
ahui
ahui
test
uuuuu

案例: sort按照数字的正序排序 从小到大排序

[root@ahui ~]#cat 4.txt |sort -n
1
2
12
20
22
100

案例: 按照数字的逆序排序

[root@ahui ~]#cat 4.txt |sort -rn
100
22
20
12
2
1

案例: 指定第2列进行数字的正序排序

[root@ahui ~]#cat 4.txt |sort -nk2
bb 1
aa 2
aa 12
cc 20
yy 22
dd 100

案例: sort -rnk2 指定第2列进行数字的逆序排序

[root@ahui ~]#cat 4.txt |sort -rnk2
dd 100
yy 22
cc 20
aa 12
aa 2
bb 1

uniq 去重统计

参数：

  • -c 显示重复的次数
[root@ahui ~]#sort 3.txt |uniq -c
  1 bbbbb
  1 ccccc
  2 lidao
  3 ahui
  1 test
  1 uuuuu

sort接收其他命令的输出

[root@ahui ~]#cat 3.txt |sort |uniq -c
  1 bbbbb
  1 ccccc
  2 lidao
  3 ahui
  1 test
  1 uuuuu

如果为字符串sort默认按照 第一列的 首字母进行排序

[root@ahui ~]#cat 3.txt|sort
bbbbb	 60
ccccc	 3
lidao    10
lidao	 90
ahui	 10
ahui   20
ahui	 50
test	 10
uuuuu	 30

如果为数字 默认则按照数字的第一列进行排序

[root@ahui ~]#cat 4.txt|sort 
1
100
12
2
20
22

案例统计出文件中每个单词出现的次数

第一步: 替换文件中特殊符号和数字

[root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt |sort
adm       adm  var adm  sbin nologin
bin       bin  bin  sbin nologin
daemon       daemon  sbin  sbin nologin
lp       lp  var spool lpd  sbin nologin
root       root  ahui  bin bash
root       root  ahui  bin bash

第二步： 将替换结果按一列显示 xargs -n1

[root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt|xargs -n1
root
root
ahui
bin
bash
bin
bin
bin
sbin

第三步: 显示后的结果进行排序 sort

[root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt|xargs -n1|sort
	adm
	adm
	adm
	bash
	bash
	bin
	bin
	bin
	bin
	bin
	daemon
	daemon

第四步: uniq 去重统计重复的次数

[root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt|xargs -n1|sort|uniq -c
  3 adm
  2 bash
  5 bin
  2 daemon
  2 lp
  1 lpd
  4 nologin
  2 ahui
  4 root
  5 sbin
  1 spool
  2 var

第五步: 第一列数字进行逆序排序

  [root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt|xargs -n1|sort|uniq -c|sort -rn
  5 sbin
  5 bin
  4 root
  4 nologin
  3 adm
  2 var
  2 ahui
  2 lp
  2 daemon
  2 bash
  1 spool
  1 lpd

获取到值只取前3个

[root@ahui ~]#sed 's#[:x/0-9]# #g' passwd.txt|xargs -n1|sort|uniq -c|sort -rn|head -3      
5 sbin
5 bin
4 root

统计单词数量:

1.保证文件中只有单词 sed替换
2.按列显示
3.使用sort进行排序
4.去重统计
uinq 去重

企业案例: 统计web日志出现访问ip地址最多的前10个

[root@linuxnc ~]# cat ip.txt |sort |uniq -c|sort -rn|head
 18 8.219.71.118
 14 39.98.71.86
 13 47.101.187.185
 12 39.100.43.181
  9 8.130.24.112
  8 66.249.70.52
  8 106.75.211.195
  7 66.249.70.54
  7 124.220.24.137
  6 61.147.15.67

小结:

  1. grep

    • -v 取反
    • -E 支持扩展正则 | + () grep -E 相当于 egrep
    • -r 递归过滤

  2. sed
    [1]. 动作:
    p print 输出 重点
    d delete 删除 重点
    a 追加内容
    i 插入内容
    c 替换内容
    w 保存内容到文件中
    [2]. 查找:
    (1) 指定行查找
    1. sed -n ‘3p’ file
    2. sed -n ‘3,5p’ file
    3. sed -n ‘3,$p’ file
    4. sed -n ‘3d’ file
    (2).模糊查找
    1. sed -n ‘/内容/p’ file
    2. sed ‘/内容/d’ file
    3. sed -n ‘//,//p’ file
    [3]. 替换:
    对文件中所有包含xx内容进行替换
    sed ‘s###g’ file
    模式+动作
    sed ‘3s###g’ file
    sed ‘3,5s###g’ file
    sed ‘/找谁/s###g’ file
    sed ‘//,//s###g’ file

  3. sort 默认按照第一列的内容排序
    -n 数字正序排序
    -r 逆序排序
    -k 选择列
    -rn 数字的逆序排序
    -rnk2 第二列数字的逆序排序

  4. uniq 去重统计
    -c 统计去重单词的次数

AHui_CSDN
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux 排序去重复,如何用grep、sort、sed、uniq等linux工具彻底清除重复行？
weixin_39538962的博客
05-14 748
如何用grep、sort、sed、uniq等linux工具彻底清除重复行？这个问题真的很难写，因为我看不出任何东西能赋予它意义。但这个例子显然是直截了当的。如果我有这样的文件：12234在解析文件之后，删除重复的行，如下所示：^{pr2}$我知道这是我写的一个python脚本。创建一个名为clean_duplicates.py的文件，并将其运行为：import sys## To run it us...
网络安全三剑客之sed的用法+语法
08-05
网络安全三剑客之sed的用法+语法
Linux 命令 sed,sort,uniq,wc,find,grep,cut,awk
Rpk712的博客
04-07 1496
Linux 命令 sed,sort,uniq,wc,find,grep,cut,awk
sed：在关键字的一行前面追加内容_sed在某一行前追加内容(1)
最新发布
2301_79058150的博客
05-17 900
2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?7、Tomcat和Resin有什么区别，工作中你怎么选择?7、Tomcat和Resin有什么区别，工作中你怎么选择?3、现在给你三百台服务器，你怎么对他们进行管理?
grep、sort、uniq 工具
weixin_45029642的博客
03-13 284
grep、sort、uniq 工具 grep工具 是行过滤工具，用于根据关键字进行行过滤 grep [选项] '关键字' 文件名 参考文档：https://www.runoob.com/linux/linux-comm-grep.html 准备 cat /etc/passwd > 1.txt vim 1.txt # 进入末行模式 :1,5 s/root/ROOT/g #替换字符串 常用选项： # -i:不区分大小写 -n:打印匹配关键字的行号 grep -in root 1.txt # w
grep、sort、uniq、tr、cut、split、paste命令
Yuzhang2046的博客
03-24 690
cat /etc/passwd | sort -o ky27.txt ---把整个passwd的文件，传给kgc.txt（-o改变了行的顺序）例：sort -n test.txt | tr -s '\n' ----将test.txt行从小到大排序，然后压缩其中所有空行为一个空行。sort -n test.txt | uniq -c ---对test.txt行排序，然后对重复的数据行计数，并且去重输出。sort -n test.txt | uniq -d ---只展示重复的数据行。
sort 以及grep 等命令的用法
tc2019的博客
03-17 558
ss -ntl 查看网络连接状况iptables -vnl 查看防火墙service iptables stop 停止防火墙服务chkconfig iptables off 关闭开机自启动防火墙ab -c 100 -n 2000 http://192.168.78.128/  模拟很多人访问curl http://192.168.78.128/ 从命令界面访问网站sort 命令的用法 -r 执行反...
文本三剑客：grep sed awk
01-07
grep和正则表达式 什么是正则表达式： 正则表达式用于描述字符排列和匹配模式的一种语法规则。它主要用于字符串的模式分隔、匹配、查找及替换操作 元字符 * 重复匹配前一个字符0到多次 . 匹配除了换行符外...
使用sed grep工具过滤实例
11-07
在处理庞大数据量时，善用Linux三剑客sed grep awk能省下不少劲。文档例子仅供参考学习！
Shell正则表达式之grep、sed、awk实操笔记
09-15
主要介绍了Shell正则表达式之grep、sed、awk实操笔记,本文使用grep、sed、awk配合正则达到了一些需求和目的,需要的朋友可以参考下
黄色宾馆网站制作资源免费
11-18
模板介绍： 黄色宾馆网站模板，风格清晰高雅，适合制作酒店，饭店、宾馆、餐厅等企业网站..... 宽度：1000px 对齐：居中 主色：黄色 结构：div+css 运行环境：asp.net2.0(或以上） 后台地址：pageadmin网站管理系统
Linux战地日记——grep和sort命令
柚的个人技术博客
09-08 1341
对grep和sort命令进行学习，这里主要学习下sort，等学习到正则时再对grep进行补充。
linux命令---grep、sort、uniq、tr
weixin_64311421的博客
04-13 844
排序，搜索，去重的操作
linux（6）- 其他命令（grep,sort,ps,netstat,uniq,cut,wc,awk）
分享自己浅浅的知识
12-25 619
一、grep：管道 1、管道是将前一个命令的输出作为后一个命令的输入 命令1 | 命令2 | 命令3 | 2、 举例： （1）wc命令用来计数， -l选项表示统计行数 ls | wc -l : 统计当前目录下有多少个文件(夹) （2）翻页查询某些文件 cat xxx.txt | more （3）如何过滤文件内容中包含”ERROR“的行？ cat file_name |...
第6课重点命令3-grep&sort&find&uniq
wsl的专栏
11-26 411
http://bbs.watchstor.com/thread-70374-1-2.html   目录 命令：grep 1 命令：sort 4 命令：find 6 命令：uniq 8 命令：grep Grep General Regular Expression Parser 【global search regular expression(RE) and print ou
Shell 管道指令grep、tr、sort、xargs
好好学习天天向上
04-03 1358
文章目录管道命令pipe选取命令 cut、grepcut 取出需要的信息grep 取出需要行、过滤不需要的行排序命令 sort、wc、uniqsort 排序假设三位数，按十位数从小到大，个位数从大到小排序。把排序的结果输出到源文件-u与-k的结合uniq 去重wc 统计字符转化指令tr替换压缩字符参数替换 xargs作用语法案例多行变成单行单行变多行将/etc/passwd内第一列取出，仅取三行，使用这个id命令将每个账号内容显示出来 管道命令pipe 1.管道命令仅处理标准输出，对于标准错误输出会省略。
grep,sort,uniq 用法例子
欧辰的专栏
05-13 1977
1.grep命令可以从一个或者多个文件中搜索特定的字符串模式，其一般格式为：grep pattern files例如，要从文件test中寻找每个unix所在的行：grep unix test有用的选项有：-i ：表示匹配过程中不区分大小写字母。-v ：显示不包含字符的行。-l ：只给出包含给定模式的文件列表，而不给出具体的行。-n ：文件中符号指定模式的每一行前都加上该行在文件中的相对行。 -s
介绍grep、awk、sed、sort 和 cut
m0_57236802的博客
04-25 131
是一个强大的文本搜索工具，用于在文件或输入流中查找符合给定正则表达式的行。是一种用于对文本文件或输入流进行基于行的编辑操作的工具，如查找、替换、删除和插入等。是一种文本处理工具，用于在文本文件中进行基于字段的搜索、替换和数据操纵。它使用自定义的脚本语言来描述操作，并将文本按照分隔符（默认为空格）划分为字段。都是 Unix 和类 Unix 系统（如 Linux 和 macOS）中常用的文本处理工具。这些工具经常在 Shell 脚本中组合使用，通过管道（|）和重定向（>、<）来实现更复杂的文本处理任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值