在集群上跑数据时市场会出问题,为了方便查看日志个人喜欢将日志下载本地使用notepad查看,但是由于集群是公用资源,每一个日志文件都会非常大,如图:
不便于下载到本地进行查看,为了可以将你关注的部分日志下载到本地,可以进行如下操作:
1: 确定有自己业务有关的日志在文件中的行数
grep -n "业务有关的关键字" hive.log.2018-06-26
图中关键字为0201的搜索结果,绿色数字为出现在日志文件中所在的行数,这样就可以大概估算一个我们需要的日志的出现范围了。
2:截取指定行之间的日志到新的文件中
sed -n '开始行数,结束行数p' 待截取的文件 >> 保存的新文件
这样就可以将指定的日志内容保存到新文件中了。执行如下就可以将执行日志保存到daxin.log中了。
sed -n '1350679,2151443p' hive.log.2018-06-26 >> daxin.log