Hadoop伪分布式集群环境搭建

- **Hadoop伪分布式集群环境搭建

一、
配置hostname与IP地址之间的对应关系

1、
vi
/etc/hosts更改配置 把ip地址改为自己的ip hostname改为自己的主机名（hostname 查看主机名）

二、
创建用户和用户组

2、
输入useradd -m hadoop命令创建普通用户hadoop

3、
输入su hadoop命令切换到hadoop用户

4、
输入passwd hadoop命令为hadoop用户创建密码

三、
配置SSH免密登陆

1、输入mkdir .ssh创建.ssh目录

2、输入ssh-keygen -t rsa命令生成秘钥对（敲三次回车）

3、输入cd .ssh命令切换到.ssh目录下

4、输入cat id_rsa.pub >> authorized_keys命令将id_rsa.pub中的内容复制到相同目录下的authorized_keys文件中

5、输入cd …返回上一级

6、输入chmod 700 .ssh和chmod 600 .ssh/*为.ssh目录及文件赋予相应的权限

7、输入ssh xiaozhang使用.ssh命令登陆xiaozhang 第一次登陆需要用yes确认

四、JDK安装

  1、输入mkdir app命令创建JDK安装目录/home/hadoop/app

2、传输JDK安装包

3、先输入cd app/命令切换到app目录下，然后输入输入tar -zxvf jdk-8u211-linux-x64.tar.gz命令解压JDK安装包

4、输入ln -s jdk1.8.0_211 jdk命令对jdk1.8.0创建软连接

5、输入vi ~/.bashrc命令修改hadoop用户目录下的bashrc文件，配置JDK环境变量

6、输入source ~/.bashrc命令 使配置文件生效

7、输入java -version命令查询JDK版本号，查询到说明JDK安装成功

五、Hadoop伪分布式集群安装配置

 1、下载安装包，输入rz命令将Hadoop安装包上传至/home/Hadoop/app软件目录下

 2、输入tar -zxvf Hadoop -2.7.3.tar.gz命令解压Hadoop安装包

 3、使用cd命令切换到Hadoop配置文件目录（即hadoop安装目录下的etc/hadoop子目录）

 4、输入vi core-site.xml命令修改core-site.xml配置文件，修改主机名为xiaozhang

 5、输入vi hdfs-site.xml命令修改hdfs-site.xml配置文件

 6、输入vi hadoop-env.sh命令修改hadoop-env.sh配置文件

 7、输入vi mapred-site.xml命令修改mapred-site.xml配置文件

 8、输入vi yarn-site.xml命令修改yarn-site.xml配置文件

 9、输入vi slaves命令修改slaves配置文件，修改主机名为xiaozhang

注：在输入vi…命令后按a修改或者输入内容，然后按Esc+:wq保存退出

10、输入cd app命令切换到app目录下，然后输入 ln -s
hadoop-2.7.3 hadoop命令创建Hadoop 2.7.3软连接

11、输入vi ~/.bashrc命令配置Hadoop环境变量

12、输入cd hadoop命令切换到hadoop目录下，输入scoure ~/.bashrc命令使配置文件生效

13、输入cd 命令，然后输入

mkdir -p data/tmp

mkdir -p data/dfs/name

mkdir -p data/dfs/data命令

创建Hadoop相关数据目录

14、输入cd hadoop命令切换到hadoop目录下，然后输入hadoop namenode -format命令格式化NameNode

15、输入start-all.sh命令启动Hadoop为分布式集群

16、输入jps命令查看Hadoop的启动进程