Linux日志文件查询统计实用命令

1、利用grep查看日志

-- 查询app.log中有time out关键字的行日志
grep "time out" app.log | more

-- 查询"time out"关键字所在行日志和其后30行的日志
grep -A 30 "time out" app.log | more

同理 -B 30 表示显示包含前30行的日志，-C 30 表示显示包含前后各30行的日志

-- 假设日志输出是时间开头，则查询1月1号 9点和10点的某个错误日志

grep "some error" app.log | grep -E '^2021-01-01 (09|10)' | more

2、利用du统计日志空间

-- 统计当前目录总空间大小，-s统计，-h表示human-readable，会根据文件大小自动展示为k、m、g等单位
du -sh

-- 统计当前目录下的一级子目录占用空间大小，并排序, sort -n表示按数字大小排序 -r 表示倒序
du -m --max-depth=1 | sort -rn

-- 计算当前目录下所有目录和文件的大小，排序后，取占用空间最大的3个

du -sm * | sort -nr | head -3

3、信息统计

假设app.log中有如上日志，需要统计每个userId出现的次数，则可以使用：

cat app.log | awk -F '(userId=|&type)' '{print $2}' | sort |  uniq -c | sort -nr 

awk -F '(userId=|&type)' 表示 按userId=或者&type分隔，类似于string.split(",")函数，如果分隔符有特殊字符，比如按冒号:分隔，则需要转义，如 awk -F '\\:'

'{print $2}' 获取分隔后的第2个字符串，类似 string.split(",")[1]

sort | uniq -c 作用类似sql中的group by 后进行 count(*)

sort -nr 结果按数字大小倒序

4、释放日志文件空间

rm -f app.log

当app.log被进程占用时，直接rm删掉文件并不会立即释放空间，可用如下方式：

echo null > app.log