linux 管道列表排序去重,Linux常用管道命令

1.cut,将一行内的数据进行分解

cut -d '分隔符' -f fields

cut -c 字符范围

-f 取出第几段的意思 ，从1开始

例：echo $PATH | cut -d ':' -f 3,5

export | cut -c 12-

2.grep 分析一行数据

grep [-acinv] [--color=auto] 'string' filename

-c 计算找到string的次数

-i 忽略大小写

-n 顺便输出行号

-v 反向选择，输出没有string的行

--color=auto 将找到的string加上颜色显示

3.sort，排序

sort [options] [file or stdin]

-f：忽略大小写

-b：忽略最前面的空格

-M：一月份的名字来排序

-n：使用数字排序(默认是文字类型 )

-r ：反向排序

-u：uniq，相同的数据输出一行

-t：分隔符，默认tab

-k：以哪个区间来排序

例：

cat /etc/passwd | sort(默认以第一个排序，并且是文字类型)

passwd以：分割，以第三个字段排序，并且以数字进行排序

cat /etc/passwd | sort -t ':' -k 3 -n

4.uniq，去重

uniq [-ic]

-i：忽略大小写

-c：计数

5.wc，计数

-l 有多少行

-w 有多少字

-m 有多少字符

6.tee，双重重定向，将数据传送到文件和屏幕

tee [-a] file

-a 已累累加的方式添加到文件

7.tr，输出一段信息中的文字，或者进行文字信息的替换

tr [-ds] SET1....

-d：删除信息中的SET1这个字符串

-s：替换掉重复的字符

小写替换成大写：tr '[a-z]' '[A-Z]'

8.col，经常用于将man page转化成纯文本形式，方便查阅

-x：将tab键替换成等价的空格键

例： man col | col -x | cat -A | more

9.join， 处理两个文件之间的内容，将两个文件中有相同数据的哪一行加在一起

join [-ti12] file1 file2

-t：join默认以空格符分割数据，并且对比第一个字段

-i：忽略大小写

-1：表示第一个文件要用哪个字段进行处理

-2：同-1

例：将/etc/passwd /etc/shadow 按照第一个字段进行整合

join -t ':' /etc/passwdd /etc/shadow

/etc/passwd按照第四个字段，/etc/group按照第三个字段进行整合

join -t ':' -1 4 /etc/passwd -2 3 /etc/group

join 要求处理的文件事先经过排序处理

file为-表示标准输入

10.paste 将文件的同一行粘贴在一起。中间tab分开

-d ： 分隔符

paste [-d] file1 file2 file3...

11.expend ，将tab转换成空格

expand [-t] file

-t：后面接数字，表示将tab转化成多少空格

grep '^MANPATH' /etc/man.config | head -3 | expand -t 6 - | cat -A

unexpand 将空格转化成tab

12.split ,讲一个大文件依据文件大小或者行数切割成小文件

split [-bl] file PREFIX

-b：后面接欲切割成的文件大小

-l：以行数进行切割

PREFIX：可作为切割文件的前导文字，文件名

例：将文件分割成300k大小，并且分割成的文件名的开头都是termcap

split -b 300k /etc/termcap termcap

将文件合并成一个文件：cat termcap* >> termback

将ls -al 的输出每10个一行输出到文件中：ls -al | split -l 10 - lsroot

13.xargs,产生某个命令的参数，不支持管道的命令，可以通过xargs提供命令引用standard input

---------------------

版权声明：本文为CSDN博主「u010660276」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/u010660276/article/details/52823898