败八

原创 SPARK task执行与资源分配的关系

SPARK task执行与资源分配的关系问题背景执行spark某个sparkjob申请的资源是150个Executor，但是直至job执行结束（大约30多分钟），分配给该job的Executor个数是49个； 该job正常试行时间大约是14分钟，但由于此次分配该job的Executor个数少于150导致job执行过长大约30多分钟； 问题：为什么没有获得足够的资源，job就开始执行了?问题分析

原创 maptask 超时问题 Timed out after 600 secs

Maptask 超时问题（1）1.Maptask超时问题情况描述某个maptask重试四次后导致job失败，失败原因就是task超时,如下： ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 secs`mapred.task.timeout 参数说明The number of mi...

原创 markdown reference , not open

原创 spark sql error mark

java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:658) at java.nio.DirectByteBuffer.(DirectByteBuffer.java:123) at java.nio.ByteBuffer.allocateDirect(ByteBuf