管道符的一些命令

一、sort命令

1、作用

• 以行为单位对文件内容进行排序
• 也可以根据不同的数据类型来排序

2、语法格式

sort [选项] 参数
 
cat file | sort 选项

3、常用选项

-f∶ 忽略大小写，会将小写字母都转换为大写字母来进行比较；
-b∶ 忽略每行前面的空格；
-n∶ 按照数字进行排序；
-r∶ 反向排序；
-u∶ 等同于uniq，表示相同的数据仅显示一行；
-t∶ 指定字段分隔符，默认使用 【Tab】键分隔；
-k∶指定排序字段；
-o <输出文件>∶ 将排序后的结果转存至指定文件；

4、实例操作

4.1 对数字进行排序：按照第一列数字顺序进行排序，而不是按照数字大小

4.2 对字母进行排序：默认是按照首字母进行排序，且小写字母放前面，大写字母放后面

4.3 -f:忽略大小写，会将小写字母都转换为大写字母来进行比较

4.4 sort -n:按照数字进行排序;sort -r:反向排序

4.5 sort -u∶ 等同于uniq，表示相同的数据仅显示一行；去除重复的

4.6 按照/etc/passwd内的UID进行从大到小反向排序，并将排序结果输出到123.txt文件中

sort -t ':' -k3 -nr /etc/passwd -o 123.txt
 
cat /etc/passwd | sort -t ':' -nr -o 123.txt

-t∶ 指定字段分隔符，默认使用 【Tab】键分隔；-k∶指定排序字段；-o <输出文件>∶ 将排序后的结果转存至指定文件

4.7 对/var/log目录下的文件所占磁盘大小进行降序排列，并将排序结果输出到456.txt文件中

	
du -a /var/log | sort -nr -o 456.txt

二、uniq命令

1、概述

• uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用

2、语法格式

uniq [选项] 参数
cat file | uniq 选项

3、常用选项

• -c∶ 进行计数，并删除文件中重复出现的行；
• -d∶ 仅显示连续的重复行；
• -u∶ 仅显示出现一次的行；

4、实例操作

4.1 去除重复内容，uniq+文件名

　

4.2 uniq 结合sort -n 使用，去除重复项，并进行升序排列

sort -nu testfile3
sort -n testfile3 |uniq

　　

4.3 uniq -c∶ 进行计数，并删除文件中重复出现的行；

sort -n testfile3 |uniq -c

　　　

4.4 uniq-d∶ 仅显示连续的重复行；

cat testfile3 | uniq -d
uniq -d testfile3
sort -n testfile3 | uniq -d

　

4.5 sort -u∶ 仅显示出现一次的行

cat testfile3 | uniq -u
uniq -u testfile3
sort -n testfile3 | uniq -u

　

三、tr命令

1、作用

常用来对来自标准输入的字符进行替换、压缩和删除

2、语法格式

tr [选项]  参数

3、常用选项

• -c∶保留字符集1的字符，其他的字符（也包括换行符\n)用字符集2替换
• -d∶ 删除所有属于字符集1的字符
• -s∶ 将重复出现的字符串压缩为一个字符串；用字符集2替换 字符集1
• -t∶ 字符集2 替换 字符集1，不加选项和结果

4、参数

• 字符集1：指定要转换或删除的原字符集，当执行转换操作时，必须使用参数“字符集2”指定转换的目标字符集，但是执行删除操作时，不需要参数“字符集2”；
• 字符集2：指定要转换成的目标字符集

5、实例操作

5.1 替换字符

5.2 tr-c∶保留字符集1的字符，其他的字符（也包括换行符\n)用字符集2替换

echo -e "abc\n123" | tr -c "a\n" "d"
echo -e "abc\n123" | tr -c "a" "d"

　

5.3 tr -d∶ 删除所有属于字符集1的字符

echo fdfgggggggggggggg | tr -d "g"

　　

5.4 tr -s∶ 将重复出现的字符串压缩为一个字符串；用字符集2替换字符集1

echo fffffffffffdfgggggggggggggg | tr -s "fg"
echo fffffffffffdfgggggggggggggg | tr -s "fg" "a"
echo fffffffffffdfgggggggggggggg | tr -s "fg" "as"

　

删除空行以及压缩空行(多种方法cat uniq)

grep -v "^$" tset3
cat tset3 | tr -s "\n"
 
cat -s tset3
uniq tset3

　

5.5 tr应用：解决从windows传来的文件的空格问题

Linux中遇到换行符("\n")会进行回车+换行的操作，回车符反而只会作为控制字符("^M")显示，不发生回车的操作。而windows中要回车符 +换行符("\r\n")才会回车+换行，缺少一个控制符或者顺序不对都不能正确的另起一行

如果文本文件是在windows下创建或文本格式被设置为dos，有时我们会看到一些 ^M符号，其实它就相当于 \r，只是不同的文件格式的转义字符也有所不同。

cat -v 可以让隐藏的转移字符也打印中显示

5.5.1 使用tr替换换行符

cat -v test3.txt

cat test3.txt | tr "\r" "\n" >test4.txt

![img]

　

5.5.2 使用 dos2unix +文件名，进行直接转换格式

　

四、cut命令

1、作用

显示行中的指定部分，删除文件中指定字段

• cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
• 如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

2、格式

cut [选项]  参数　　　

3、常用选项

• -f∶ 通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符。
• -d∶ “TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符。
• - -complement∶ 此选项用于排除所指定的字段。
• - -output-delimiter∶ 更改输出内容的分隔符。
• -b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志

4、实例操作

4.1 -d∶ “TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符；-f∶ 通过指定哪一个字段进行提取

4.2 - -complement∶ 此选项用于排除所指定的字段