文件去重
单文件去重:
文件名:topics_pv_511_601.txt
cat topics_pv_511_601.txt | sort | unique | wc -l
多文件去重:
目录文件夹有2个文件
Found 2 items
-rw-r–r-- 3 root supergroup 10705087 2017-05-12 07:55 /tmp/test/topics_pv/topics_pv.txt
-rw-r–r-- 3 root supergroup 1600923 2017-06-05 14:06 /tmp/test/topics_pv/topics_pv_511_601.txt
cat topic* | sort | uniq | wc -l
注:topic是两个文件共同享有的部分
初始化配置
先更新一下:sudo apt-get update
文件夹压缩
压缩结果
tar -cvf /home/tangmin/maidian.tar /home/tangmin/maidian