Hprof使用及在Hadoop中MR任务使用

转载 2012年03月22日 16:54:24

J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling,叫做HPROF。HPROF实际上是JVM中的一个native的库,它会在JVM启动的时候通过命令行参数来动态加载,并成为 JVM进程的一部分。若要在java进程启动的时候使用HPROF,用户可以通过各种命令行参数类型来使用HPROF对java进程的heap或者 (和)cpu进行profiling的功能。HPROF产生的profiling数据可以是二进制的,也可以是文本格式的。这些日志可以用来跟踪和分析 java进程的性能问题和瓶颈,解决内存使用上不优的地方或者程序实现上的不优之处。二进制格式的日志还可以被JVM中的HAT工具来进行浏览和分析,用 以观察java进程的heap中各种类型和数据的情况。

在J2SE 5.0以后的版本中,HPROF已经被并入到一个叫做Java Virtual Machine Tool Interface(JVM TI)中。


HPROF的启用



HPROF可以用来展示和跟踪cpu的使用情况,内存分配的统计数据等。不仅如此,它还支持对 java进程完整的内存dump,所有线程的monitor stats数据。HPROF被启用的方式可以如下: 
java -agentlib:hprof[=options] ToBeProfiledClass 
或者 
java -Xrunhprof[:options] ToBeProfiledClass 
HPROF如何构建java进程,并发送进程的jvm profiling信息,取决于HPROF在JVM启动时从命令行获取的参数指令。比如,以下指令将会获取java进程的heap allocation的profile: 
java -agentlib:hprof=heap=sites ToBeProfiledClass 

HPROF 可以被指定的参数非常的多,以下是完整的列表: 

java -agentlib:hprof=help 


        HPROF: Heap and CPU Profiling Agent (JVM TI Demonstration Code) 

    hprof usage: java -agentlib:hprof=[help]|[<option>=<value>, ...] 

    Option Name and Value  Description                    Default 
    ---------------------  -----------                    ------- 
    heap=dump|sites|all    heap profiling                 all 
    cpu=samples|times|old  CPU usage                      off 
    monitor=y|n            monitor contention             n 
    format=a|b             text(txt) or binary output     a 
    file=<file>            write data to file             java.hprof[.txt] 
    net=<host>:<port>      send data over a socket        off 
    depth=<size>           stack trace depth              4 
    interval=<ms>          sample interval in ms          10 
    cutoff=<value>         output cutoff point            0.0001 
    lineno=y|n             line number in traces?         y 
    thread=y|n             thread in traces?              n 
    doe=y|n                dump on exit?                  y 
    msa=y|n                Solaris micro state accounting n 
    force=y|n              force output to <file>         y 
    verbose=y|n            print messages about dumps     y 

    Obsolete Options 
    ---------------- 
    gc_okay=y|n 

    Examples 
    -------- 
     - Get sample cpu information every 20 millisec, with a stack depth of 3: 
         java -agentlib:hprof=cpu=samples,interval=20,depth=3 classname 
     - Get heap usage information based on the allocation sites: 
         java -agentlib:hprof=heap=sites classname 

默认情况下,java进程profiling的信息(sites和dump)都会被 写入到一个叫做java.hprof.txt的文件中。大多数情况下,该文件中都会对每个trace,threads,objects包含一个ID,每一 个ID代表一个不同的观察对象。通常,traces会从300000开始。 

默认,force=y,会将所有的信息全部输出到output文件中,所以如果含有 多个JVMs都采用的HRPOF enable的方式运行,最好将force=n,这样能够将单独的JVM的profiling信息输出到不同的指定文件。 

interval选项只在 cpu=samples的情况下生效,表示每隔多少毫秒对java进程的cpu使用情况进行一次采集。 

msa选项仅仅在Solaris系统下才有效, 表示会使用Solaris下的Micro State Accounting功能 

Examples



我们可以自己写一个java应用程序,但是例子 里将使用一个J2SE中已有的java应用程序,javac。 

Heap Allocation Profiles(heap=sites)



以下是对一个java代码文件运行java编译 器javac的heap allocation profile日志的一部分: 
Command used: javac -J-agentlib:hprof=heap=sites Hello.java 
从日志中可以看到程序在运行的每一个部分都消耗了多少内存的heap profile数据。以上日志可以看出,整个程序的heap中有44.73%的被分配给了java.util.zip.ZipEntry对象。同时可以观 察到,live data的数量跟所有allocated的总数是匹配atch的,这就说明GC可能在HPROF遍历整个heap搜集信息的很短的时间之前已经做过一次内 存回收了。通常情况下,live data的数量是会稍微少于所有allocated的总数的。 
    
Heap Dump (heap=dump)



该选项用来对java进程的heap进行进行完 全的dump: 
Command used: javac -J-agentlib:hprof=heap=dump Hello.java 
这样会产生一个非常大的输出文件,但是可以用任 何编辑器进行打开和搜索。但是,更好的观察和分析办法是通过HAT来进行分析和观察。所有用heap=sites选项中获取的信息这里也都可以获取到。另 外还加上一些特别的细节数据。如对每个对象的内存分配以及其引用的其他所有的对象。 
该选项会使用很多的内存,因为它会将所有对象的 内存分配情况全部记录下来,同时也可能会影响到应用程序本身的性能,因为数据的产生会影响对象分配和资源回收。 

CPU Usage Sampling Profiles (cpu=samples)



HPROF可以用来搜集java进程中各个threads的cpu使用情况: 
HPROF会对java进程中所有的threads进行周期性的stack traces采集。以上count一列就表示在采集中有多少次的stack trace被HPROF发现,并且是active的(而不是指一个method被执行了多少次)。这些stack traces包括cpu的使用,哪些是cpu消耗热点。 
那么以上日志中可以看出什么信息呢?第一,统计数据的样本数据是很少的,只有126次的采样,如 果是比较大的程序编译,那么应该能够产生更有代表性的数据。第二,该数据跟以上对heap=sites的采集数据比较匹配,ZipFile耗费了比较多的 cpu时间和调用次数。在以上采集中,可以发现,跟ZipFile相关的的性能在javac中都会消耗的比较高,该ZipFile的stack trace如下:  

CPU Usage Times Profile (cpu=times)



HPROF可以通过对java应用程序的各个方 法中注入code的方式来搜集各个method的执行情况。对每个methods的执行情况进行跟踪,count以及时间消耗的搜集。这种技术叫做 Byte Code Injection。所以这种采集方式的运行比cpu=samples要慢很多,以下是采集数据日志:  
这里的count代表着该方法被真正执行了多少次,并且方法thread消耗了多少精确的cpu 时间。


Hadoop中MR任务使用

使用方法:

  在JobConf中,有几个配置选项是可以用来控制task profiling行为的。比如对一个job,想要开启对其tasks的profiling功能,并设置profiling相应的HPROF参数,可以按如下方式:

 

conf.setProfileEnabled(true);
conf.setProfileParams("-agentlib:hprof=cpu=samples,heap=sites,depth=6," +
"force=n,thread=y,verbose=n,file=%s");
conf.setProfileTaskRange(true, "0-2");

第一行表示打开profiling task的功能,该功能默认情况下是关闭的。调用该接口相当于设置配置选项 mapred.task.profile=true,可以利用这种方式在hadoop job提交命令行上动态指定。

 

第二行是通过conf接口来设置对tasks进行HPROF 的profiling的采集参数,采用profiling enable的方式运行的tasks,会采用每个task一个独立的JVM的运行方式运行(即使enable了job的jvm reuse功能)。HPROF相关的采集参数设置,可以见其他资料。该选项也可以通过设置 mapred.task.profile.params 选项来指定。

 

第三行表示对job的哪些tasks需要进行profiling采集,第一true参数表示采集的是map tasks的性能数据,false的话表示采集reduce的性能数据,第二个参数表示只采集编号为0,1,2的tasks的数据,(默认为0-2)。如果想要采集除2,3,5编号的tasks,可以设置该参数为: 0-1,4,6-

 

Example

   还是拿wordcount来举例,提交job命令如下:

 

bin/hadoop jar hadoop-examples-0.20.2-luoli.jar wordcount /
  -D mapred.reduce.tasks=10 /
  -D keep.failed.task.files=fales /
  -D mapred.task.profile=true /
  -D mapred.task.profile.params="-agentlib:hprof=cpu=samples,heap=sites,depth=6,force=n,thread=y,verbose=n,file=%s" /
  $input /
  $output

 

这样,当job运行时,就会对前三个task进行profiling的采集,采集信息包括cpu的采样信息,内存分配的信息数据,stack trace 6层的堆栈信息。这里需要注意的是,由于前三个tasks被进行了HPROF的性能采样,所以这几个tasks的执行效率会受到一定的影响,profiling的信息越详细,性能影响就越大。如下图,前三个map就明显比其他的map运行的要慢很多。

不过这种运行方式通常都不是线上运行方式,而是用来进行优化调试,所以关系不大。

 

而当job运行完成后,这三个tasks对应的profiling日志也会会传到提交机器上,供用户分析判断。如下图:

 

与此同时,tasks在tasktracker上也将这些profiling日志信息记录到了一个profile.out的日志文件中,该文件通常位于tasktracker机器上的上${HADOOP_HOME}/logs/userlogs/${attempt_id}下,和该task的stderr,stdout,syslog保存在同一个目录下,如下图:

 

该文件中的内容,还可以通过taskdetails.jsp的页面查看到。如下图:

 

 

有了这些信息,相信对于任何一位hadoop应用程序的开发者来说,就拥有了足够的定位job瓶颈的信息了。MR的应用程序开发同学,请优化您的job吧~~


nginx做负载均衡的几种方式

最近看了一些nginx做负载均衡的文章,在这里留下笔记,方便以后再次学习查看。 不喜勿喷...
  • psy1100
  • psy1100
  • 2017年05月02日 15:02
  • 1648

RabbitMQ 实战教程(三) 发布/订阅

在上一个教程中,我们实现了工作队列,一个任务只会发给一个Worker。在这一篇教程,我们将做一些完全不同的改变,我们将提供一个信息给多个消费者。这种模式被称为“发布/订阅”。 为了说明这种模式,我们...

Hprof使用及在Hadoop中MR任务使用

J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling,叫做HPROF。HPROF实际上是JVM中的一个native的库,它会在JVM启动的时候通过命令行参数来...

hadoop中使用hprof工具进行性能分析

在编写完成MapReduce程序之后,调优就成为了一个大问题。如何使用现有工具快速地分析出任务的性能?   对于本地的java应用程序,进行分析可能稍微简单,但是hadoop是一个分布式框架,Ma...
  • clamaa
  • clamaa
  • 2017年04月11日 09:55
  • 398

Hadoop HPROF 的使用

我们编写的MapReduce程序不一定都是高效的,我们需要确定MapReduce的瓶颈在什么地方。Hadoop框架提供对HPROF的支持,HPROF能够跟踪CPU、堆的使用以及线程的生命周期,对于确定...

使用hadoop编写日志分析MR程序

貌似有个把星期没有写点什么了,最佳

MR-3.Hadoop使用YARN运行MapReduce工作原理

运行一个MapReduce的作业,可以调用job对象的submit()方法(一般调用job的的waitForCompletion),主要是提交一个job。 整个作业的提交过程,涉及5个重要的实体对象:...

使用hadoop编写日志分析MR程序

貌似有个把星期没有写点什么了,最近在用hadoop写一个关于IIS 日志分析的MR程序,这个也是我们工作中一个特别耗时的过程,每次客户2~3G的IIS日志光导入到数据库就大概要2小时,再加上格式化数据...

java编写的hadoop wordcount,单MR任务实现按照词频排序输出结果

由于之前写MR任务都是采用Streamming方式,以python语言编写,因此对于整个MR的过程细节要求不高,也不需要理解。但是java作为hadoop的原生语言,无论是性能效率、规范性、输出工具的...

大数据(十四)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】

一、什么是PageRankPageRPageRankankPageRank         –PageRank是Google专有的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hprof使用及在Hadoop中MR任务使用
举报原因:
原因补充:

(最多只允许输入30个字)