linux 中shell文件内容,Linux Shell从一个文件去掉包含在另一个文件的内容

方法一：使用grep

grep -v -f file1 file2 &&grep -v -f file2 file1

参数-v，表示invert match，即反向匹配，输出没有匹配上的项。参数-f，表示从文件中读取匹配模板(pattern)。方法一中的前一部分，在文件file1中匹配模板，来反向匹配文件file2中的内容，即输出文件file2中，在file1中没有的内容。后面的一部分同理可得，输出文件file1中，在file2中没有的内容。方法二：使用comm

comm -3file1 file2

这个方法看起来最简单。命令comm的功能就是，逐行比较两个排好序的文件，默认输出有三列：只在file1中有的行、只在file2中有的行、在file1和file2中共有的行。有参数-1 -2 -3，分别来抑制输出对应的列。例如在我们的方法二中，实用-3参数，不输出file1和file2中共有的部分。即能达到我们本文的目的。

但是注意到，comm比较排好序的两个文件，comm在处理文件的时候，首先要查看文件是否有序，例如file1和file2的内容如下：

$cat file1

line1

line2

line3$cat file2

line0

line1

line3

line2

调用前面方法二的命令的时候，就会提示file2文件时无序的，输出的结果如下：

$comm -3file1 file2

line0

line2

comm: file2isnotin sorted order

line2

如果使用--nocheck-order参数，不进行有序性检测，结果如下：

$comm -3--nocheck-order file1 file2

line0line2

line2

从这个结果中我们可以看到，这还是不是我们真正想要的结果。这里可体现comm的另一个特征，就是逐行比较。它是对file1和file2进行逐行往下的比较，检测是否相同。所以，在用comm的时候，要根据具体的情况进行分析了。方法三：使用awk

awk '{printNR,$0}' file1 file2 |sort-k2|uniq -u -f1|sort-k1|awk '{print$2}'

或者：

awk '{print$0}' file1 file2 |sort|uniq -u

awk把每一行看成是一个记录(record)，每个记录使用分隔符(默认是空格)把每条记录分成若干域。awk内置参数$0表示整行，$1、$2...分别表示各域，内置参数NR，表示记录的计数，awk '{print NR, $0}' file1 file2表示依次读取file1 file2，打印出每行，并且在前面添加行号。

命令sort，就是对行进行排序，参数-k表示根据各行的第几个参数关键字开进行排序，这里的-k2表示根据第二个关键字开始进行排序。

命令uniq，进行报告或者忽略重复的行，参数-u，表示只是打印出唯一的行(unique lines)，-f表示忽略的每行的前n个域的比较。