作为一个大四的学生,因为实习的关系,最近开始安装hadoop进行学习,但是在安装问题上遇到各种问题,耗时许久,但是解决完问题之后发现其实这些都是非常简单的问题,是一些小细节,但是基本上教程上都没写,可能是因为太基础了吧。
我安装的版本是hadoop-2.5.1,是在ubantukilin上安装的,并且使用java 8。一切都是最新的吧(从新开始,好好搬砖)。作为一个菜鸟,出问题是总想着是不是这些不兼容啊,什么什么的,不去认真看那些报错的记录,其实是太渣了,不懂怎么看,后来强迫自己一条一条的去看,不懂就去搜,耗时许久终于安装成功了,写个博客记录下 (满足下菜B的成就感)。
最初的问题是进入etc/hadoop/hadoop-env.sh 配置运行环境时出现的路径错误,我把 HADOOP_PREFIX的路径给写错了,之后执行bin/hdfs namenode -format时出现错误,好像是错误:找不到或无法加载主类org.apache.hadoop.hdfs.server.namenode.NameNode。找了半天没弄明白,后来在pwd了一下则发现HADOOP_PREFIX路径错了,当时的心情,唉!
之后再执行sbin/start-dfs.sh命令,又出现问题了,我以为是权限不够,就用sudo了,之后竟然又出现了输入root@localhost的密码,当时我就呆了,这尼玛怎么不按剧本来啊,一点都不配合,只好去百度了(google打不开,又懒得去整),这次竟然发现是SSH互信没有建立起来,我明明已经能够不用密码登录了啊,为什么还会可是还是出问题了,这样啊,不懂,但是我按照搜到的方法,直接把authorized_keys和.ssh目录的权限改为777(被权限整烦了,直接最高权限走起),但是之后又出现了一大堆权限问题,简直没法玩啊,不过有了这次经验,我直接把安装hadoop的文件夹及子文件夹的权限全改为777,哈哈,之后就可以了,哦耶。
接着我就想跳转到http://localhost:50070/去查看,但是打不开,当时我也不在意,直接跳过,继续下一步,想在hdfs上创建文件夹,结果又出错了,真没法玩了,不过错误下面出了个链接,直接跳到hadoop wiki Connection Refused,看了才知道是因为端口关闭的原因,赶紧百度了下ubuntukilin开启端口的命令,赶紧把9000和50070等端口开启,之后各种顺畅,简直爽啊!http://localhost:50070/也能去了,hdfs上文件夹也能创建了...
作为一个菜鸟,能解决一下问题还是很有成就感的,写个博客记录下,当作心情随笔吧,这好象还是第一个博客,唉!好好搬砖!