昨天下班前,老板给了一批LOG数据库IP地址,需要统计LOG表里Message字段top 10的结果,并输出到一个excel文件里。
抽查看了下,有两种格式的以当天日期结尾的表名。由于数量太多,时间紧迫,只好写批量脚本解决问题。
并以此扩展,解析其中的几个常用shell程序,主体脚本写在文章后半部分。
学习shell重在灵活运用命令,形成自己的思维方式,和书写习惯,脚本参考即可。
解题过程步骤:
1.梳理IP地址及对应表名
2.确定查询SQL
3.批量查询数据
完整脚本附在文章最后
解析下常用到的知识点:
1.日期:关于日期结尾的表,表中涉及日期时间的表字段
注意:shell中养成给日期定义变量的习惯。
<1>.当前日期时间及格式
DATE_MARK=`date +'%Y%m%d'` 结果:20161214
DATE_MARK=`date + '%Y-%m-%d %H:%M:%S'` 结果:2016-12-14 18:20:11
过去日期时间及格式
DATE_MARK=`date -d'1 day ago' +'%Y%m%d'` 结果:一天之前:20161213
DATE_MARK=`date -d'1 hour ago' +'%Y-%m-%d %H:%M:%S'` 结果:2016-12-14 17:20:11
修改-d' ' :7天之前:7 days ago 7小时之前:7 hours ago
表名:TB_NAME="LOG_${DATE_MARK}"
2.遍历思想和循环及行的处理
<1>.批量远程执行命令,批量Telnet端口,批量ping主机
<2>.遍历文件中每一行,进行添加,截取,输出操作。
主体思想:先读取ip或行,再处理ip或行,再利用ip或行
实例:
1.依次输出文件中的每一行
命令行while循环遍历: cat ip.txt | while read line;