[shell] 文本文件 行去重

linux下, 一个文本文件可能存在行重复
对每一行去重

使用 sort 和 uniq 命令来实现将文本文件中重复的行去重，然后输出每一行不重复的文件。以下是具体的操作步骤：

1. 使用 sort 命令对文本文件进行排序，这样相同的行会被排列在一起。
2. 使用 uniq 命令去除相邻的重复行。
3. 将去重后的结果输出到一个新文件中。

下面是在 shell 中执行以上操作的示例命令：

sort input.txt | uniq > output.txt

在这个示例中，假设你的原始文本文件名为 input.txt，执行上述命令将会去除其中的重复行，并将结果保存在 output.txt 文件中。