面对学校课程要求学生搭建自己的伪分布式模式,所面临的各种坑,亲自踩坑。
1. 安装环境ubuntu
2.安装jdk
3.安装Hadoop
1.在安装ubuntu时需要注意安装ubuntu创建用户,等待时间比较长,大家需要有点耐心。
2.安装jdk时需要注意jdk的版本号,最好去官网下载18的版本带有linux的标识,配置环境时:注意:export后加上的是你电脑上jdk的实际路径,不要完全按照你的教课书,因为不完全与你的电脑一致,不要照抄啊!!!
这样的话java -version的版本号就会显示成功。
3.安装Hadoop,首先解压Hadoop的软件包,在官网去下载。
同理这里也需要更改Hadoop的路径,export后的Hadoop的实际环境
/home/sdm/hadoop-2.7.3。类似于这样的路径。
可以用whereis hadoop查看。
ls指令需要充分利用查看jdk和Hadoop的实时名称,要不然会找不到文件的。
按照课本的内容,来到_core-site.xml***
Hadoop的地址也需要更改/home/sdm/hadoop-2.7.3_*(我的是这样)
五个文件在{HADOOP_HOME}/etc/hadoop目录下。
需要知道实时路径(JAVA_HOME)
最后,1.格式化HDFS
2.start-all.sh
3.jps(至少显示五个进程)。
打开50070端口界面
打开8088端口界面
或许大家第一次可以了,但是第二天会发现自己傻了,再次打开会打不开DataNode和namenode节点。
IP会更改
这里要注意,xshell软件会连接不上,那很大可能就是ubuntu的ip发生改变了
ifconfig可以查看。
**8088端口怎样都打不开,日志报错警告日志警告“Failed to add storage directory”**解决方法:
链接:添加链接描述
最后我们把虚拟机重启就全部OK了。。。。。。。。。。(无语四,太麻烦了,没办法啊,那也得完成作业,是不是啊大家)
格式化hdfs
start-all.sh
两个界面都可打开了。