用dw 删除重复html文件,使用正则表达式删除重复行

使用awk非常简单：

awk '!seen[$0]++' file

这基本上意味着：

awk "!($0 in seen) {seen[$0];print}"

因此,如果该行不在数组中,它将添加并打印它.将跳过所有后续行(如果它们存在于数组中).

$cat file

> http://example.com/some/a-test-link.html

> http://example.com/some/a-test-link.html

> http://example.com/some/another-link.html

> http://example.com/some/another-link.html

> http://example.com/some/again-link.html

> http://example.com/some/again-link.html

$awk '!seen[$0]++' file

> http://example.com/some/a-test-link.html

> http://example.com/some/another-link.html

> http://example.com/some/again-link.html