【shell】shell脚本在大文件日志中按照时间段快速搜索日志

问题描述：

在大流量线上服务中，日志系统会产生数量庞大的日志，动辄就是几十G。在如此之大的文件中快速搜索日志是运维人员经常遇见的问题。我们经常遇见的问题是查询一段时间内的某些条日志。比如，今天有一个访问失败了，大约是在上午9点，把这条日志找出来，然后查找失败原因。

常见处理方式及缺点：

1.如果文件比较小，100m以内使用grep、awk或者sed进行逐条匹配比较方便，但是文件非常大时，其查找效率是非常低的，运行时间长达几十分钟甚至上小时。

2.使用hadoop大数据处理，查询速度快，效率高。但是需要我们搭一套hadoop环境，需要巨大的计算量。感觉就是杀鸡焉用牛刀。