正文之前
今天很气愤!!想要学点东西,但是老是被环境所限制。Hadoop这个见鬼的环境,我只是运行单机模式,结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录,因为快要睡了明天再说吧。另外我这里有《Hadoop 权威指南》第三版的翻译版本(华东师范大学翻译)。我今天吃完晚饭去书店逛的时候又看到了第四版的盗版书。所以见猎心喜之下买了回来。如果有哪位同志想要哪一页,可以让我帮忙拍一下,当然全本就免了,自己看电子书吧!!
正文
今天遇到的一个很大的问题是。Java我没法儿找到安装路径。这简直是巨坑??配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh这个见鬼的玩意的时候,找不到JAVA_HOME???岂不是要gg,这也太惨了???所以我左找右找,终于给我逮到了!下面是博客来源,感谢大神!!
另外,我用另外一台云服务器亲自验证了我前面介绍的那一篇老外写的很新版的Hadoop教程。具体请看下列链接:
【Hadoop学起来】分布式Hadoop的搭建(Ubuntu 17.04)
另外就是下载的资源更新啦,自己看评论!!
第一步:whereis java
[root@Hadoop Master java]# whereis java
java: /usr/bin/java /etc/java /usr/lib/java /usr/share/java /usr/share/man/man1/java.1.gz
复制代码
第二步:ls -lrt /usr/bin/java
[root@Hadoop Master java]# ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 Nov 2 23:38 /usr/bin/java -> /etc/alternatives/java
复制代码
第三步:ls -lrt /etc/alternatives/java
[root@Hadoop Master java]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 46 Nov 2 23:38 /etc/alternatives/java -> /usr/lib/jvm/java
复制代码
第四步:设置环境变量
vi 此文件/etc/profile 在profile文件末尾加入:,
export JAVA_HOME=/usr/lib/jvm/java
(上面这一行也加到标题里面那个地址的文件中去,记得把原来的删掉)
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(我记得这一些好像也~/.bashrc这个文件里面,同样的也要生效一下)
复制代码
第五步:使生效 :source /etc/profile
综合上面这些步骤就已经完成了更新JAVA的环境变量这一过程~~
从上方图片可以看出来。当我运行gps命令的时候。是完全可以显示出Hadoop需要的那些组件的。理论上来说应该可以完成那个问题。但是我也不知道为什么,总是有bug!!!
root@VM-161-78-ubuntu:/home/ubuntu/hadoop/hadoop# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar pi 16 1000
复制代码
上面所要求的问题
Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=UTF-