大数据
shuaiding_three
这个作者很懒,什么都没留下…
展开
-
ERROR cluster.YarnScheduler: Lost executor 2 on khlcfxpt-10.novalocal: Container killed by YARN for
如图所示,提交的spark在yarn上由于内存问题导致被yarn killed掉,由于是spark任务,因此修改yarn-site.xml中的map和reduce的配置无效 问题的解决方案在用spark时设置内存配置例如: spark.memory.offHeap.enabled true spark.executor.memoryOverhead 5g spark.memory.offHeap.size 4g spark.driver.memory 4g spark.executor....原创 2020-12-25 17:48:45 · 802 阅读 · 0 评论 -
向hive-es的映射表执行insert操作时报错及解决方案(针对报错,暂无可参考性)
解决方案,根据报错添加httpclient.jar 解决报错 如下图:原创 2019-12-12 17:49:53 · 272 阅读 · 0 评论