shell的几种常用工具

最近在学习shell脚本语言，在学习的过程中了解了关于shell的几种常用工具，就总结了一下。

1、sort

• 功能：顾名思义，sort是对文本进行排序操作的。
• 原则：sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较， 后将他们按升序输出。

man手册解释：

常用选项介绍：

选项	说明
-r	将文本文件降序输出
-u	在输出行中去掉重复行
-n	以数值来进行升序排序
-t	设定间隔符
-k	用来对指定列数进行排序，通常与-t一起使用
-f	将小写字母都转换为大写字母来进行比较，亦即忽略大小写
-c	会检查文件是否已排好序，如果乱序，则输出第一个乱序的行的相关信息，后返回1
-C	会检查文件是否已排好序，如果乱序，不输出内容，仅返回1
-b	会忽略每一行前面的所有空白部分，从第一个可见字符开始比较

用法示例：
（1）使用sort对文件内容进行升序、降序排序：

（2）去掉重复行升序、降序：

（3）按指定列进行排序

2、uniq

man手册解释：

主要用来去除文本中的重复行
用法示例：

常用语法

选项	说明
-c	显示输出中，在每行行首加上本行在文件中出现的次数。它可取代-u和-d选项。
-d	只显示出现重复的行
-u	只显示文件中不重复的各行

示例：

3、利用sort和uniq求两个文件的交集、并集和补集

分别建立两个文件：

求两个文件的交集：

求两个文件的并集：

求两个文件的补集（file1-file2）：

4、paste

man手册说明：

**功能：**paste单词意思是粘贴。该命令主要用来将多个文件的内容合并。paste将按行将不同文件行信息放在一行。缺省情 况下， paste连接时，用空格或tab键分隔新行中不同文本
将file1和file2内容合并：

常用选项：
（1） -d： 指定域分隔符
指定域分隔符为“：”，并合并两个文件内容

（2）-s: 将每个文件合并成行而不是按行粘贴

（3）- 对每一个（-），从标准输入中读一次数据。默认使用空格 或者tab作域分隔符，该选项可以定制输出格式

5、cut

man手册说明：

**功能：**cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。 如果不指定 File 参数， cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
常用选项：
（1）-b ：以字节为单位进行分割。

（2）-c ：以字符为单位进行分割

对于字符处理，-c和-b似乎没有什么区别，但当你处理汉字的时候，就会有所不同，感兴趣的可以自己测试一下。
（3）-d ：自定义分隔符，默认为制表符。
（4）-f ：与-d一起使用，指定显示哪个区域

6、xargs

man手册描述：

**功能：**xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。它擅长将标准输入数据转换成命 令行参数，xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。xargs也可以将单行或多行文本输入 转换为其他格式，例如多行变单行，单行变多行。xargs的默认命令是echo，空格是默认定界符。这意味着通过管 道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。

常用选项：
（1）-n选项:指定列数，并多行输出

（2）-d选项: 自定义一个域分隔符，将特定列打散，并指定格式输出

（3）将格式化后的字符串作为命令行参数传递给其他命令，组装完成批量任务

（4）选项-I，使用-I指定一个替换字符串{}，这个字符串在xargs扩展时会被替换掉，当-I与xargs结合使用， 每一个参数命令都会被执行一次

（5）find xargs rm 混合使用：

一张图总结xargs常见用法：

7、sed

man手册说明：

**功能：**sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时， 把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容， 处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变， 除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
sed默认安照Basic规范基本匹配
常见使用方法：
（1）/pattern/p: 打印匹配pattern的行

使用p命令需要注意,sed是把待处理文件的内容连同处理结果一起输出到标准输出的,因此p命令表示除了把文件内 容打印出来之外还额外打印一遍匹配pattern的行 要想只输出处理结果,应加上-n选项,这种用法相当于grep命令。
（2）/pattern/d: 删除匹配pattern的行

sed命令不会修改原文件,删除命令只表示某些行不打印输出,而不是从原文件中删去，如果要影响源文件，需要使用 -i 选项

（3）/pattern/s/pattern1/pattern2/: 查找符合pattern的行,将该行第一个匹配pattern1的字符串替换为 pattern2