当提交多个表,自己认为串行执行时,实际上集群也为所有的表分配了资源,进而占用大量的资源,
其主要原因为yarn资源的公平分配, 通过调整excutor-number来限制内存,同时也会出现内存爆掉的情况,
提高excutors-memory 值即可
当提交多个表,自己认为串行执行时,实际上集群也为所有的表分配了资源,进而占用大量的资源,
其主要原因为yarn资源的公平分配, 通过调整excutor-number来限制内存,同时也会出现内存爆掉的情况,
提高excutors-memory 值即可