linux下文本去重

不改变顺序情况下去重

• 测试数据
  

 awk ' !x[$0]++'  test_file

改变顺序的情况下去重

• 方法一

sort -u test_file

• 方法二

sort test_file |uniq 

参考：https://blog.csdn.net/zheng0518/article/details/51744795