常用grep命令 awk

1. 查询耗时大于3s的 有那些接口？且耗时多长？

grep ‘request complete!’ sss-info-2018-12-13.log | awk ‘{match($0,/cost":“([0-9.]+)/,a);match($0,/url”:"([^,]+)/,b);if(a[1] > 3) {print a[0],b[0];}}’
效果：

3. 查询耗时大于3s的 有那些接口？且耗时多长？
grep 'request complete!' sss-info-2018-12-13.log | awk '{match($0,/cost\"\:\"([0-9.]+)/,a);match($0,/url\"\:\"([^,]+)/,b);if(a[1] > 3) {print a[0],b[0];}}'
 
 
4. 查询耗时大于3s的的接口数量
grep 'request complete!' sss-info-2018-12-13.log | awk '{match($0,/cost\"\:\"([0-9.]+)/,a);match($0,/url\"\:\"([^,]+)/,b);if(a[1] > 3) {print a[0],b[0];}}' | awk '{match($0,/url\"\:\"([^,]+)/,a); print a[0]}' | sort -r | uniq -c | sort -rn
 
5. 短信请求失败，时间，请求参数，状态码
grep 'sms.jiajia.co' sss-info-2018-12-19.log  | grep 'http请求返回状态' | awk '{match($0,/http请求返回状态码：([0-9]+)/, a);match($0,/http请求参数([^\|]+)/,b);match($0, /2018-12-19([^\|]+)/,c);match($0, /app_id":"([0-9]+)/,d); if(a[1]>200) print d[0],c[0],b[0]}'
  
6. 统计499记录，数量，请求真实ip，请求接口，refer
grep -w 499 zz.xx.jiajia.com-access_log | awk '{match($0, /([^\ ]+)/, a); match($0, /((GET\ |POST\ )[^\ ]+)/, b); print a[1], b[1], $13}' | sort -n | uniq -c | sort -rn
 
7. 统计各个业务方访问sss所有域名下不同协议的数据【数量，sss协议，业务方refer】（sss notice日志）
grep 'request complete' sss-info-2018-12-25.log | grep -v 'zz.xx.jiajia' | grep -v 'xa.xx.lianji' | grep -v 'm.xx.jiajia.com' | grep -v 'suz.xx.jiajia' | grep -v 'dl.xx.jiajia' | grep -v 'sss.xx.ke.com' | grep -v 'mxx.ke.com' | grep -v 'referrer":null'| grep 'http_protocol' | awk '{match($0, /http_protocol\":\"([^\"]+)/, a);match($0, /referrer\":\"([^\"]+)/, b); print a[1], b[1]}' | sort -r | uniq -c | sort -rn
  
8. 统计各业务方访问sss外网域名的数据【数量，业务方refer，sss域名，http状态码】（sss nginx-access日志）
grep -E 'http://|https://' zz.xx.jiajia.com-access_log | awk '{print $13, $3, $10}' | grep -v 'zz.xx.jiajia.com/' | grep -v 'xa.xx.jiajia.com/' | grep -v 'm.xx.jiajia.com/' | grep -v 'suz.xx.jiajia.com/' | grep -v 'dl.xx.jiajia.com/' | grep -v 'sss.xx.ke.com/' | awk '{match($1, /([^\ ]+com\/)/, a);print a[0],$2, $3}' | grep -vE 'i.zz|i.xa|i.m|i.suz|i.dl|i.sss'  | sort -r | uniq -c | sort -rn
  
9. 耗时最高的20条【耗时s，refer，uri】
grep 'request complete' sss-info-2018-12-28.log | awk '{match($0,/cost\"\:\"([0-9]+\.[0-9]+)/,a);match($0, /referrer\":\"([^\"]+)/, b);match($0, /path\":\"([^\"]+)/, c);if(a[1]>1) print a[1],b[1],c[1]}' | sort -rn | head -n 20
 
 
8.统计调用外部服务失败的，域名，log_Id，时间
grep 'service call failed' sss-error-2019-03-09.log  | awk '{match($0,/\]\[http([^\]]+)/,a);match($0,/log_id\"\:\"([^\"]+)/,b);print $1,$1,a[0],b[0]}'
 
 
9.统计调用合同接口失败-第四列去重【日期 时间 接口path 合同id】
grep ' service call failed' sss-error-2019-05-04.log | grep 'ContractFacade@getContractFieldInfoDto' | awk '{match($0,/path\"\:\"([^\"]+)/,a);match($0,/contractId=([^\&]+)/,b);print$1, $2, a[1],b[1]}' | sort -t ' ' -k 4,4 -u | sort
 
 
10.统计kafka执行失败的message信息【日期 时间 appid kafka_message】
grep 'handle kafka error' sss-error-2019-05-04.log | grep 系统内部错误 | awk '{match($0,/message([^\#]+)/,a);match($0,/app_id\"\:\"([^\"]+)/,b); print $1,$2, b[1],a[1] }' | awk -F ',exception' '{print $1}' | sort -t ' ' -k 4,4 -u | sort
 
11.统计总数量
grep '推送历史单子到xx服务 执行结束 系统id' sss-info-2020-03-29.log | awk -F '交易单量' '{print $2}' | awk '{match($0,/([0-9]+)/, a);{print a[0]}}' | awk '{sum += $1};END {print sum}'
 
12.异步任务设置delay属性，且大于3的任务
grep 'delay = [0-9][0-9]\?' ./ -ir | awk '{match($0,/(delay|DELAY) = ([0-9]+)/,a);if(a[2]>3 ){print $0 a[2]}'}