在生产环境中有时候可能会遇到大文件的读取问题,但是大文件读取如果按照一般的手法。如cat这种都是对io的一个挑战,如果io扛得住还好,如果扛不住
造成的后果,如服务器内存奔溃,日志损坏
方法一:
sed
例子: 按照你自己的日志格式 sed -n '/14\/Mar\/2015:21/,/14\/Mar\/2015:22/p' access.log >/home/test/test.log
sed -n "1,1000p" access.log >/home/test/test.log
新生成的test.log就是那个时间段的
方法二:
linux split命令
split -l 1000000 access.log -d -a 10 acclog_
方法三:
类似python的第三方工具
word='abc' with open('test.txt','r',encoding='utf-8') as f: #test.txt为你的源文件 with open('test2.txt','w',encoding='utf-8') as f2: #test2.txt为你新生成的包含关键字的文件 for line in f: if word in line: f2.write(line) 这里地word就是对关键字的过滤,你可以改成时间段