shell常用命令

cut：用于根据单个字符分割的情况

• -b ：仅显示行中指定直接范围的内容；
• -c ：仅显示行中指定范围的字符；
• -d ：指定字段的分隔符，默认的字段分隔符为”TAB”；
• -f ：显示指定字段的内容；
• -n ：与”-b”选项连用，不分割多字节字符

awk

awk -F',' '{for(i=1;i<=NF;i++) print $i}'

awk '{if($1>5) print $1}'

求和：cat count.txt | awk '{sum+=$1} END {print "Sum = ", sum}'

 

zgrep --binary-files=text "具体要查的信息" set-gq-ad-uniontx-midas-super-gdt-web01.gq.sankuai.com__midas-super-gdt-web.http.log-2019-04-15-1.log.gz

将线上机器的日志下载到本地

1、ssh登录到跳板机之后，将日志load到相应日志中，如 grep addCampaign baidu.log > /home/zuowen/service.log

2、在远程机器键入命令进入到对应目录下cd /home/zuowen，键入命令：python -m SimpleHTTPServer；

3、本地在浏览器中输入远程机器ip 加端口，如10.73.144.19:8000，进入到对应目录下，点击下载文件。

vim使用技巧：https://juejin.im/post/5bfa4211e51d4550184546ea

找两个文件中相同的行: http://blog.sina.com.cn/s/blog_61184a0f0101138t.html

找出a文件和b文件不同的地方(在a不在b)：sort a.txt b.txt b.txt | uniq -u

 

sed

删除所有包含example的行并输出其他行：

cat baidu.log | head -3 | sed '/example/d'