日志文件处理（linux awk sort uniq grep）

很多时候，我们需要统计日志，可能会很麻烦，这里提供下简单的思路
日志文件如下，包含两列第一列md5，第二列文件名

我们需要统计md5有没有重复的，分为这么几部

1. 取出md5这一列
2. 对md5这一列进行排序
3. 统计相同的个数
   命令如下：

cat md5.txt |awk '{print $1}'|sort|uniq -c

命令解析：
cat md5.txt 即读取整个文件
awk ‘{print $1}’ 即打印第一列，默认分隔符为空格
sort 即排序
uniq 即取唯一
-c 即统计个数

---

后续：
awk如何指定分隔符，如分隔符为abc

awk -F"abc" '{print $1}'