Hive Job log解析——perl脚本

cheersu

于 2013-01-05 14:55:13 发布

阅读量1.8k

点赞数

分类专栏： hadoop 文章标签： hadoop Hadoop hive HIVE Hive job log

本文链接：https://blog.csdn.net/cheersu/article/details/8468742

版权

本文介绍如何使用Perl脚本解析Hive作业的日志内容，通过实例展示`parseHiveJobLog.pl`的运用，帮助理解Hadoop和Hive在大数据处理中的日志分析过程。

摘要由CSDN通过智能技术生成

Hive Job log解析

cat parseHiveJobLog.pl

use Data::Dumper;

if (!defined($ARGV[0]) or $ARGV[0] eq '')
{
    print "useage: perl parseJobHistory.pl filename\n";
    exit;
}

my $filename = $ARGV[0];
my $json = new JSON;

my %QueryStatus;
my %TaskStatus;

open FILE, "<$filename" or print("can't open $filename\n");
while(<FILE>)
{
    chomp;
    my $spacepos = index($_,' ');
    my $type = substr($_,0,$spacepos);
    my $info = substr($_,$spacepos+1,length $_);
    if(lc($type) eq 'querystart' || lc($type) eq 'queryend')
    {
        my %parseBuffer;
        $info =~ s/:" /:"/g;
        while($info =~ s/(\w+?)="(.*?)"( |$)//)
        {
            $parseBuffer{$1} = $2;
        }
        my $queryid = $parseBuffer{'QUERY_ID'};
        foreach my $key ( keys %parseBuffer )
        {
            n