- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hive中跑MapReduce Job出现OOM问题分析及解决
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred
2014-11-21 20:02:47
29362
原创 sbt发布assembly解决jar包冲突问题 deduplicate: different file contents found in the following
一、问题定义最近在用sbt打assembly包时出现问题，在package的时候，发生jar包冲突/文件冲突问题，两个相同的class来自不同的jar包在classpath内引起冲突。具体是：我有一个self4j的jar， 还有一个hadoop-common-hdfs的jar包，其中hadoop-common-hdfs.jar内包含了self4j这个jar包，导致冲突。此类异常一般是由于打包不规范
2014-11-20 20:48:48
16804
2
原创 Spark 常见问题小结
1、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster uito ensure that workers are registered and have sufficient memory当前的集群的可用资源不能满足应用程序所请求的资源。资源分2类： cores 和 ramCo
2014-11-06 19:43:02
3947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人