sort多字段排序
sort -t ',' -k 2 -n wenjian.txt #以,为分隔符,对第二个字段,按照数字大小生序排序
# -k2,2 表示从第二字段开始到第二字段结束。
# -k2 表示 从第二字段开始到行尾结束。
# -k2.2,2.5 表示从第二字段第二字符开始到第二字段第5字符结束
#多字段排序
sort -t ',' -k 1,1 -k 3n,3 -k 4n,4 >test wenjian.txt
grep
#显示行号
grep -n *********
#选中不符合“只有数字和逗号的行”
grep -v '[0-9,]*' TEST_AsMonth #-v是取不满足的数据
sed
sed 's/\"//g' all_user_yongdian_data_2015 #把每一行记录中的"替换为空,即删除每一行的引号
#如果加上参数 -i ,那么就直接修改原文件了
删除重复行(三种方法)
#第一,用sort+uniq。注意,一定要配合拍过序的文件来处理,单纯uniq是不行的。所以此处拿sort来使用
sort -n test.txt | uniq
#第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
#第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'