Linux日志&文本筛选

sort多字段排序

sort -t ',' -k 2 -n  wenjian.txt    #以，为分隔符，对第二个字段，按照数字大小生序排序
# -k2,2 表示从第二字段开始到第二字段结束。
# -k2 表示 从第二字段开始到行尾结束。
# -k2.2,2.5 表示从第二字段第二字符开始到第二字段第5字符结束

#多字段排序

sort -t ',' -k 1,1 -k 3n,3 -k 4n,4 >test wenjian.txt

---

grep

#显示行号

grep -n *********

#选中不符合“只有数字和逗号的行”

grep -v '[0-9,]*' TEST_AsMonth  #-v是取不满足的数据

---

sed

sed 's/\"//g' all_user_yongdian_data_2015   #把每一行记录中的"替换为空，即删除每一行的引号
#如果加上参数 -i ，那么就直接修改原文件了

---

删除重复行(三种方法)

#第一，用sort+uniq。注意，一定要配合拍过序的文件来处理，单纯uniq是不行的。所以此处拿sort来使用

sort -n test.txt | uniq

#第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。

sort -n $file | awk '{if($0!=line)print; line=$0}'

#第三，用sort+sed命令，同样需要sort命令先排序。

sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'