spark调优是一个头疼的事,这个疼在什么地方呢?
(1)spark将内部几乎完全封装,类似黑箱,不了解内部机理。
(2)spark 调优参数众多,参数之间关联很多,无法清晰知道调优效果。
(3)spark运行在集群上,本地调试功能有限。
如果谁能精通这三项,那就很厉害了,是不是?实际情况中,我们需要找出调优项,执行,并能看到明确的效果。为了调优,除了绞尽脑汁,钻研黑箱,还可以通过一些工具,提高效率。这里的主角,便是JMC工具。接下来的主要内容,就是如何使用JMC工具对spark程序调优。
JMC重点功能介绍
接下来,先介绍我们要使用的功能点,这些功能点将在调优中发挥重要作用。
(1)MBean服务器功能介绍
- 概览
- 触发器
以一个Tomcat程序为例,打开概览,添加我的图表:
这里选择“Free Java Heap Memory”属性,我的图表1: