我有一些巨大的日志文件(50Mb; ~500K行)我需要开始过滤掉一些垃圾.使用log4j生成日志文件,其基本模式为:
[log-level] date-time class etc, etc
log-message
我正在寻找一种方法,我可以识别正则表达式开始和正则表达式结束(或类似的东西),将过滤掉文件中的匹配条目,以便我可以更轻松地浏览这些大量文件.我的想法是,开始正则表达式将是日志级别,最终正则表达式将成为日志消息中的内容.我确信我可以编写一个java程序来完成这项任务,但我想在走这条路之前我会问社区.提前致谢.
让我扩展我的问题.假设我的日志文件中有以下代码段:
[DEBUG] date-time class etc, etc
log-message-1
[WARN] date-time class etc, etc
log-message-2
[DEBUG] date-time class etc, etc
log-message-3
[DEBUG] date-time class etc, etc
log-message-1
[WARN] date-time class etc, etc
log-message-2
[DEBUG] date-time class etc, etc
log-message-6
我想要一种过滤logEntry1和logEntry2的方法,所以我最终得到:
[DEBUG] date-time class etc, etc
log-message-3
[DEBUG] date-time class etc, etc
log-message-6
我希望通过定义一些正则表达式模式对来实现这一点.在上面的例子中,我想为logEntry1定义一对,为logEntry2定义另一对.
我希望这有助于澄清我的问题.
解决方法:
假设log-message-1和log-message-2以及唯一模式.
$awk -vRS= '!/log-message-[12]/' ORS="\n\n" file
[DEBUG] date-time class etc, etc
log-message-3
[DEBUG] date-time class etc, etc
log-message-6
标签:java,regex,linux,grep,logging
来源: https://codeday.me/bug/20190627/1300471.html