常用文本处理命令

目录

1、sort命令

2、uniq命令

3、tr命令

4、cut命令

5、split命令

6、eval命令

---

1、sort命令

以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序，比较原则是从首字符向后，依次按AscII码值进行比较，最后将他们按升序输出。

格式：

sort[选项]参数
cat file | sort选项

常用选项

选项	作用
-n	按照数字大小进行排序
-r	反向排序
-u	等同于uniq，表示相同的数据仅显示一行
-t	指定字段分隔符，默认使用[Tab]键分隔
-k	指定排序字段
-o<输出文件>	将排序后的结果转存至指定文件
-f	忽略大小写，会将小写字母都转换为大写字母来进行比较
-b	忽略每行前面的空格

•  sort -n ：按照数字大小进行排序

• sort -r：反向排序

•  sort -u：等同于uniq，相同的数据仅显示一行

• sort -t： 指定字段分隔符，默认使用[Tab]键分隔
• sort -k：指定排序字段

•  sort -o :将结果转存到指定文件

2、uniq命令

用于报告或者忽略文件中连续的重复行，常与 sort命令结合使用

格式：

uniq[选项]参数
cat file | uniq选项

常用选项：

选项	作用
-c	进行计数，并删除文件中重复出现的行
-d	仅显示连续的重复行
-u	仅显示出现一次的行

• uniq -c：统计连续行重复的次数，删除重复行

 统计重复行出现的次数

• uniq -d :连续重复的行

 

• uniq -u: 仅显示没有连续的出现一次的行,可以使用sort来解决

3、tr命令

常用来对来自标准输入的字符进行替换、压缩和删除

格式

tr [选项] [参数]

常用选项

选项	作用
-c	保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d	删除所有属于字符集1的字符
-s	将重复出现的字符串压缩为一个字符串;用字符集2替换字符集1
-t	字符集2替换字符集1，与不加选项-t结果相同

参数

参数	作用
字符集1	指定要转换或删除的原字符集。 当执行转换操作时，必须使用参数"字符集2"指定转换的目标字符集合，但执行删除操作时，不需要参数”字符集2“
字符集2	指定要转换成的目标字符集

• tr与tr -t

小写转变为大写

 将a转变为A

 将.转换为空格

•  tr -c：保留字符集1的字符，其他的字符用字符集2替换

除了 echo -n 与echo -e "xxxxx\c" 以上两种方式输出的内容结尾不会携带换行符，echo其它输出方法都会默认携带一个换行符\n

•  tr -d :删除字符

• tr -s： 将重复出现的字符串压缩为一个字符串，也可以替换

 删除空行的方法

grep -v 或者 tr -s

 思考：将aa\n\n\n\nbb转换为aa:bb

$(变量名%分隔符*) :删除从右往左匹配到第一个分隔符的所有内容

$(变量名%%分隔符*) :删除从右往左匹配到最后一个分隔符的所有内容 

 $(变量名#*分隔符) :删除从左往右匹配到第一个分隔符的所有内容 

 $(变量名##*分隔符) :删除从左往右匹配到第最个分隔符的所有内容  

 方法1：echo -e "aa\n\n\n\nbb" | tr -s "\n" ":" | sed 's/:$/\n/'

方法2：echo -ne "aa\n\n\n\nbb" | tr -s "\n" ":"

 方法3：

[root@localhost ~]# echo -e "aa\n\n\n\nbb"
aa



bb
[root@localhost ~]# a=`echo -e "aa\n\n\n\nbb" | tr -s "\n" ":"`
[root@localhost ~]# echo $a
aa:bb:
[root@localhost ~]# echo ${a%:}
aa:bb

4、cut命令

 显示行中的指定部分，删除文件中的指定字段

格式

cut 参数
cat file | cut 选项

选项	说明
-b	以字节为单位进行分割 ,仅显示行中指定直接范围的内容
-d	自定义分隔符，默认为制表符”TAB”
-f	显示指定字段的内容 , 与-d一起使用 （ -指定连续字段 ，指定不连续字段）
-n	取消分割多字节字符
--complement	排除所指定的字段
--output-delimiter	更改输出内容的分隔符

•  cut -d -f

•  cut  --complement：排除所指定的字段

• cut  --output-delimiter：更改输出内容的分隔符

截取字符串

${i:0: 3}   ：下标从0开始:截取的字符长度

echo $i l cut -b 1-3  ：下标从1开始起始位置-终止位置
expr substr $i 1 3  ：下标从1开始 1代表起始位置3代表截取的字符长度

5、split命令

Linux下将一个大的文件拆分成若干个小文件

格式：

split 选项 参数 原始文件 拆分后文件名前缀

常用选项

选项	作用
-l	以行数拆分
-b	以大小拆分

 

6、eval命令

命令字前加上eval时，shell会在执行命令之前扫描它两次。eval命令将首先会先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。