hadoop
面朝大海&春暖花开
顺势而为
展开
-
hadoop搭建及常见问题
这是本人在完全分布式环境下在Cent-OS中配置Hadoop-0.20.203.0时的总结文档,但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml,hdfs-site.xml和mapred-site.xml,这里会说明0.20后的版本中如何配置这三个文件)。原创 2012-10-25 18:39:17 · 1321 阅读 · 0 评论 -
spark用submit提交程序遇到的错误(机器内存较小)
部署使用的spark版本是spark1.3.0部署环境: 主节点centos7操作系统 2g内存 从节点debian系统1g内存(2个) spark-env.sh的设置如下: export SCALA_HOME=/usr/local/scala-2.10.4 export SPARK_MASTER_IP=master export SPARK_LOCAL_IP=master原创 2015-04-23 15:39:16 · 15475 阅读 · 1 评论