有巨大TXT文件,现如今要压缩数据中的两列
cat test*.txt | awk '{print $3, $NF}' >out.txt
第一步,先从数据中提取需要的列(比如我这里第3列和最后一列)
sort out.txt | uniq >sortlist.txt
第二步,对第一步的结果进行去重,得到自己想要的结果。
有巨大TXT文件,现如今要压缩数据中的两列
cat test*.txt | awk '{print $3, $NF}' >out.txt
第一步,先从数据中提取需要的列(比如我这里第3列和最后一列)
sort out.txt | uniq >sortlist.txt
第二步,对第一步的结果进行去重,得到自己想要的结果。