linux下日志截取去重

通过查看最近一个月的日志，查询最近都发生了哪些交易，交易日志输出的相关元素是以"|"竖划线分割，一行一个交易。通过awk先截取。 

初始日志如下：

20180911|ThreadPool3|LH2|LH4|MB|444|5200_2323|test

如下：awk -F '|' '{print $5 "|" $7}' /app/20180911.log >/app/20180911_transcode.log

在生成20180911_transcode.log日志中利用sort，uniq去重，如下：cat /app/20180911_transcode.log|sort|uniq，即可统计发生了哪些交易，比用excel去重来的简单方便。

 

参考资料：

awk资料：https://blog.csdn.net/zzq900503/article/details/50394765

利用sort和uniq去重：https://www.cnblogs.com/coderchuanyu/p/4194211.html