hadoop学习详细篇（二）jdk、hadoop安装，hadoop集群配置

jdk、hadoop安装，hadoop集群配置

一、jdk安装

下载lrzsz包

 进入到software目录，并且输入命令rz

选择jdk文件点击Add -> OK，等待下载完成

将jdk压缩包解压到/export/servers目录下

解压错目录，重新修改成/root/export/servers/目录下

修改jdk文件夹名称

修改/etc/profile文件

在最后一行输入以下语句

查看目录

检验java安装成功与否，成功

接着修改hadoop02的错误目录，将export建在root目录下面

修改完成

以配置hadoop01的jdk的方法配置剩下的两个虚拟机

 

二、hadoop安装

继续使用rz命令下载hadoop的安装压缩包

接着解压到/root/export/servers目录下面

接着在/etc/profile文件添加hadoop环境变量

最后检验安装成功

接着同样是方法配置别的虚拟机

 

三、hadoop集群配置

编辑修改hadoop的/etc/hadoop内的core-site.xml文件

修改如下：

修改hdfs-site.xml文件

修改mapred-site.xml文件

修改yarn-site.xml文件

在workers文件添加内容

修改hadoop-env.sh文件

把配置好的profile目录整个发送给hadoop02，发现是hadoop目录，把配置好的/etc/hadoop目录整个发送给hadoop02

查看hadoop02

把配置好的/etc/hadoop目录整个发送给hadoop02

格式化hadoop03、hadoop02、hadoop01

结果发现书本只需要格式化hadoop01，使用书本命令开启主节点，发现命令不可用

百度，发现，命令需要修改

以此在hadoop01、hadoop02、hadoop03使用命令开启进程

查看hadoop02进程状态

查看hadoop01的进程状态，发现只有namenode进程开启成功

查看hadoop03进程状态

突然发现是发送配置文件/etc/profile给hadoop02与hadoop03，重新发送

继续开启查看状态

不对，少了，修改

查看仍然不能开启

查看日志文件

修改jdk版本，这里已经将jdk1.8安装好，修改环境变量，定位到jdk8的目录（这里已经修改jdk1.8目录为jdk8，后面同样）

重启查看是否已改，显示成功

使用scp命令直接把解压好的jdk8目录发送给hadoop02、hadoop03，并且查看

重新尝试开启

进程不对

查看hadoop02状态

Hadoop01仍然不对

关闭防火墙

修改文件

查看日志

继续尝试开启

修改本机电脑windows的hosts文件

查看端口占用情况

查看防火墙状态

在windows浏览器查看状态，失败

换个浏览器，采用9870端口访问，尝试，成功

但是8088端口仍然不行

修改文件

继续尝试开启

开启报错

查看端口占用情况，发现没有命令lsof，下载安装

仍然不行，修改文件

继续尝试，resourcemanager开启成功

在windows访问8088端口，成功