linux命令中的常用统计

1.对文件中的某个字段进行去重

awk '!x[$0]++' quchong_test.txt

2.现在以下面的两个文件作为测试文件，首先查看文件中是否出现某个字段重复的命令


这是两个测试文件中的内容：
查看每个文件中的重复数据：
(-d 这个参数是将我们文件中重复的数据找到)

cat quchong_test.txt| sort | uniq -d

查看除去重复数据（包含本身和相同的）以外的其他数据,也可以说是查看文件中不重复的数据

cat quchong_test.txt| sort | uniq -u

查看两个文件中相交的部分：
(1)现将quchong.txt中的数据进行去重之后输出到file.txt中

（2）再将q2.txt中的内容去重之后追加到file.txt中
'>'这个符号代表重新写入
“>>”这个符号代表追加写入

这我们可以看出两个文件去重后的数据都写入file.txt了，我们查看两个文件是否有数据重复直接对这个文件进行查询就行：

一般我们用id查重，通过上述的这几步操作就能得到两个文件中重复的数据了

查看quchong_text.txt或者q2.txt中有但是q2.txt中没有的数据：
q2.txt 中有quchong.txt没有的数据

quchong_text.txt 中有q2中没有的数据

以上就是常用来查询两个文件中某个字段之间一些交并集关系的快速方式