最近在处理文件的时候,遇到文件内容存在大量重复项的情况,很显然需要文件内容去重。因为使用的是Python,本来想要找找Python文件内容去重的方法,但是看到的基本利用Set或者List等方法(还没来得及逐一验证)。后来,找到一个利用Shell脚本写的文件内容去重,用了一下觉得很赞,在这里深入的研究一下,也算是对Shell了解和熟悉一下。
shell脚本如下所示:
#!/bin/bashlines&#
最近在处理文件的时候,遇到文件内容存在大量重复项的情况,很显然需要文件内容去重。因为使用的是Python,本来想要找找Python文件内容去重的方法,但是看到的基本利用Set或者List等方法(还没来得及逐一验证)。后来,找到一个利用Shell脚本写的文件内容去重,用了一下觉得很赞,在这里深入的研究一下,也算是对Shell了解和熟悉一下。
shell脚本如下所示:
#!/bin/bashlines&#