shell编程 文件内容的修改: 命令grep、uniq、sort、tr、cut、split、paste详解

主要针对文件内容进行操作，对文件内容进行过滤、修改、排序

1.命令grep

概述： 针对文本内容进行过滤、查找

常用命令选项

命令	选项	说明
grep	-i	(默认)忽略大小写，可以不加
	-n	显示匹配的行号及该行的内容
	-c	只统计匹配的行数（匹配了几行）
	-v	取反，把所有不包含查询内容的的显示出来
	-m	多个匹配，可以限定显示的行数，匹配几次后结束
	-o	显示匹配到的字符串
	-q	静默模式，什么都不进行输出，进行显示
	-A（after）	匹配到内容行后，在向下展示几行，包含匹配到的行
	-B（before）	匹配到当前所在行，以及当前行的前几行
	-C	匹配到自己所在行及其上下个几行
	-e	逻辑或，可以匹配多个条件，可以实现多个选项间的逻辑关系，可以多个
	-w	表示匹配整个单词，如果加了其他字母就无法匹配
	-E	表示使用扩展正则表达式，也可以用egrep
	-f	根据两个文件的内容进行匹配，匹配两个文件中相的内容
	-r	递归目录，不处理软连接，递归目录下，所有文件内包含文件内容的文件
	-R	递归目录，处理软连接，递归目录下所有文件包含文件内容的文件，包含软连接

主要作用：过滤文本内容，针对行进行处理，过滤每一行包含的文本内容

 逻辑或

 匹配内容行后向下几行展示

2. 命令sort

以行为单位，对文件的内容进行排序，也可以根据不同的数据类型进行排序

格式：

1、sort [选项]  参数

2、cat 文件名 | sort 选项

常用的第二种

默认数字优先，然后大写，最后为小写

常用选项

命令	选项	说明
sort	-f	忽略大小写，默认会把大写字母排在前面
	-b	忽略每行前面的空格
	-n	按照数字进行排序，不会发生变化，原先怎么排序，输出也是一样
	-u	相同的数据只显示一行，去重
	-r	反向排序，根据数字和字母大小写排序进行反向排序
	-o	输出的文件名：将排序的结果转存到指定文件

注意：字母和数字不要混合在一起进行排序。是根据文件内容排序，不是文件名

3.去重的命令uniq 

作用:用于报告或则忽略文件中连续出现的重复行，   经常与sort命令结合使用

只是暂时打印的结果，不对原文件产生影响

格式：

1、uniq [选项] 参数

例如

 常用选项

命令	选项	说明
uniq	-c	统计连续重复的行的次数，并且合并重复的行
	-u	显示仅出现一次的行（包括不连续的重复行）
	-d	仅显示重复出现的行（必须是连续的重复行）

4.命令tr

作用： 把不想要的删除掉，也可以替换掉

对来自标准输出的字符

对来自标准输入的字符，进行替换压缩和删除

格式：

1、tr [选项] 参数     也可以结合“ | ”管道符使用

常用选项

-c ： 保留字符集1的字符，用字符集2来替换

echo 192.168.233.10 | tr -c "." " "     加“-c” 保留字符“ .” 用“ ”（空格）来替换其他字符

echo 192.168.233.10 | tr  "." " "     ： 不加 " -c",把字符集1“ . ”替换成字符集“ ”（空格）

将ABC替换成abc

echo ABC | tr " A-Z" "a-z" 

A-Z :"A-Z"引号引起来都是正则表达式

-d : 删除指定字符集

-s ： 把重复出现的字符串，压缩成一个字符串，也可以替换，默认替换一个字符串

例如：sort -n test.sh |tr -s "123" "ttt"

 -t :默认为替换，可以不写

5.截取方法命令cut 

概述：对字段进行截取和剪裁，截取和awk相似之处，

格式：

1、cut [选项] 参数

2、cat 文件名 | cut 选项

常用选型

-d ：指定分隔符 默认你分隔符为“tab”键 不是空格

awk 默认分隔符事空格，多个空格也算一个

-f ： 安字段进行截取，指定要截取几个字段        

1-3： 1到3      1，3 ： 1和3

例如： cut -d “！” -f 1,3 /etc/passwd

-b : 以字节为单位的的截取

-c ： 以字符为单位的截取

 -complement ：删除指定的字符串

head -n 2 /etc/passwd|cut -d ':'  --complement  -f 2：指定已":"作为分隔符，但是删除了第二个字段进行输出

–output-delimiter ： 更改输出内容的分隔符 ，不能用“！”

head -n 2 /etc/passwd|cut -d ':'  -f 1-5 --output-delimiter='@'  ：将分隔符转换为@，进行输出
 

6.文件拆分命令  split

把大文件拆分成若干个小文件

格式： 

split 选项 参数 原始文件 拆分后文件名前缀

split-l  20 passwd ky30

常用选项：

-l （line）： 指定行数拆分 

-b （block）：指定文件大小拆分

7.文件合并命令  paste

按照字段来进行文件的合并

格式

paste   [选项]    文件1     文件2

常用选项

-d    用于指定文件的分隔符（默认情况下为制表符"\n"）
-s    将列和行的内容进行互相交换
paste a b和cat a b 之间的区别

paste 是左右合并     cat 是上下合并

8.面试题

统计当前主机的连接状态

listen : 监听 等待连接  谁可以连接

estab ：已经建立连接，连接处在活动后状态

ss -nta |tr -s " " | cut -d " " -f 5 | sort -n  |uniq -c

ss -nta : 数字化展示所有正在活动的tcp网络连接信息，

grep -v :取反，显示不包含查找的内容显示出来

cut -d ：指定分隔符为空格   -f ; 第几个字段

sotr 文件拆分

uniq -c ; 统计连续重复行的次数并合并重复的行

2、统计当前连接主机数

ss -nt | tr -s " "|cut -d " " -f 5 | sort -n | uniq -c

ss -nt  :数值化展示  ip地址端口信息

cut - d  -f 5 : 指定分隔符， 截取第5 个字段

tr -s ：重复的字符串进行压缩，压缩成一个字符串

sort -n 根据原有顺序进行输出

uniq -c ： 统计重复的行的次数并合并重复的行