#按字段1排序,按字段2去重 sort -k1.1 $logfilepath | awk '!a[$2]++{print}' > outtestfileby2.log #按字段1排序,按字段1去重 sort $logfilepath | awk '!a[$1]++{print}' > $outfilepath #超简单的根据字段1来去重,但不排序 cat $logfilepath | awk '!a[$1]++' > $outfilepath
#按字段1排序,按字段2去重 sort -k1.1 $logfilepath | awk '!a[$2]++{print}' > outtestfileby2.log #按字段1排序,按字段1去重 sort $logfilepath | awk '!a[$1]++{print}' > $outfilepath #超简单的根据字段1来去重,但不排序 cat $logfilepath | awk '!a[$1]++' > $outfilepath
转载于:https://www.cnblogs.com/ITEagle/archive/2013/04/15/3021587.html