- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop hive执行count(*)提示OutOfMemoryError: Java heap space
昨天在把hive部署到hadoop2.0 HA MR1集群中的时候，hive执行count(*)出错，日志为：java.lang.Exception: java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.jav
2013-11-15 15:35:02
8262
原创 Hadoop 2.0 HA安装时碰到的问题
安装hadoop2.0 HA碰到的问题1.zookeeper集群无法从 $HOME/zookeeper/bin下启动，后来从/opt/aimcpro/freeware/zookeeper-3.4.5-cdh4.2.1目录下启动成功 怀疑还是zookeeper的conf文件设置或者zk_ENV.sh里面的设置有问题2.hadoop从主节点无法format，提示invalid ur
2013-11-14 11:49:03
2614
原创 mysql作为hive元数据库读取时提示communication failure
现象：mysql已安装配置好，$HIVE_CONF_DIR/hive-site.xml中jdbc已配置成mysql的。但是hive命令行进入后，show tables提示·metastore无法读取，查了很久的原因，都查不到，mysql登陆也正常，同事突然说在hive cli中set javax.jdo.option.ConnectionURL看到的结果并不是在hive-site.xml中的配置。
2013-11-14 11:45:14
920
原创 hadoop scheduler查看问题
在对比了hadoop fair-scheuler和capacity-scheduler之后，决定使用fair-scheduler。因为目前系统没有多个团队之间的资源竞争，更多的是多个任务之间的资源抢占情况，所以选用fair-scheduler效率更高。配置完之后发现无法查看scheduler原有的文档都写着http://younamenode:50030/scheduler，无法打
2013-11-01 15:44:56
862
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人