shell

1、查询某个接口访问ip及次数

grep ‘限制条件’ access.2020-07-01.log | awk ‘{ips[$1]++};END{for(i in ips){print i,ips[i]}}’ | awk ‘$2>100’ | sort -k2 -rn

grep ‘/api/external/wireless/newMessageCount’ access.2020-07-01.log | awk ‘{ips[$1]++};END{for(i in ips){print i,ips[i]}}’ | awk ‘$2>100’ | sort -k2 -rn
2、grep

grep [选项] ‘关键字’ 文件名

-i: 不区分大小写
-v: 查找不包含指定内容的行,反向选择
-c: 统计匹配到的行数
-n: 显示行号
-r: 逐层遍历目录查找
-e: 使用正则匹配
-E:使用扩展正则匹配
^key:以关键字开头
keyKaTeX parse error: Expected group after '^' at position 9: :以关键字结尾 ^̲:匹配空行
–color=auto ：可以将找到的关键词部分加上颜色的显示

3、cut

cut 选项 文件名

-c: 以字符为单位进行分割,截取
-d: 自定义分隔符，默认为制表符\t
-f: 与 -d 一起使用，指定截取哪个区域

cut -c1-10 access.2020-07-01.log

cut -d- -f1 access.2020-07-01.log

4、sort

sort工具用于排序;它将文件的每一行作为一个单位，从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

语法和选项
-u ：去除重复行
-r ：降序排列，默认是升序
-o : 将排序结果输出到文件中,类似重定向符号 >
-n：以数字排序，默认是按字符排序
-t ：分隔符
-k ：第N列
-b ：忽略前导空格。
-R ：随机排序，每次运行的结果均不同

5、uniq工具
uniq用于去除连续的重复行
-i: 忽略大小写
-c: 统计重复行次数
-d: 只显示重复行

6、paste工具
paste工具用于合并文件行
常用选项：
-d：自定义间隔符，默认是tab
-s：串行处理，非并行