Hadoop2.6的伪分布式搭建问题梳理
redhat 64位2.6.32-279.el6.x86_64客户机、hadoop2.6
- 下载hadoop并上传至linux客户机
- 设置ssh无密登陆
- 配置java、hadoop环境变量
- 创建data、name、tmp等文件夹
- core-site.xml hdfs-site.xml marped-site.xml yarn-site.xml
- hadoop-env.sh配置java_home环境
- 格式化文件
- 运行daemon程序
参考
http://blog.csdn.net/stark_summer/article/details/42424279
http://blog.chinaunix.net/uid-10915175-id-3258669.html
由于hadoop的搭建步骤还是挺简单的,但是第一次搭建或多或少都会遇到一些不知所措的问题,所以本文用来记录一些遇到的问题,待以后搭建的时候作参考。比较懒,就先写一点,以后慢慢添加。
表格
1、搭建完成start-all.sh之后。data、name、tmp三个文件夹里面应该是有东西的,不然就提升权限。
2、执行wordcount的时候发生8032无法连接。这个表现还有50070可以访问,8088页不能访问。貌似是yarn-site.xml配置出错,这个也很奇怪,我当时也仔细检查了发现没有错误,然后网上找了各种偏方,导致datanode和resourcenode起不来之后改了一些东西之后就成了
3、datanode和resourcenode起不来除了权限问题,还有就是format过多导致版本不一致,很据建议就删掉之后重建了data或者tmp文件夹
4、今天先写这么多