实用的linux数据分析命令

经常要针对处理后的数据进行核对，所以总结了一下常用的方法，包括

1.使用awk命令摘取其中几列

    $ cat file.txt | awk -F "," '{print $1,$3,$5}' >> test.log

2.使用sed去除包含string的行

    $ sed -i -e '/string/d' test.log

3.使用uniq针对行进行去重

    $ uniq -D test.log

4.使用wc统计行数

    $ wc -l test.log

5.使用awk进行求和计算

    $ cat test.log | awk '{sum+=$1} END {print sum}'

6.检查当前目录中大于500M的列表

    $ du -h | awk -F " " '{if($1~/M/)print}'  | awk -F "M" '{if($1>500) print}'