(二) 配置开发环境 - Hadoop安装与伪分布式集群搭建

**

Hadoop安装与伪分布式集群搭建

一. 安装JDK
https://blog.csdn.net/weixin_45873289/article/details/104945583
注：这链接里面还有jdk和hadoop安装包
二. 安装Hadoop

输入tar -zxvf hadoop-3.1.0.tar.gz 解压hadoop安装包(这里需要注意安装包的名称是否正确)*

解压成功
三. 配置Hadoop环境*
设置SSH免密登录
在之后操作集群的时候我们需要经常登录主机和从机，所以设置SSH免密登录时有必要的。
输入如下代码：

 ssh-keygen -t rsa -P ''

生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：id_rsa和id_rsa.pub，默认存储在~/.ssh目录下。

接下来：把id_rsa.pub追加到授权的key里面去。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后修改权限：

chmod 600 ~/.ssh/authorized_keys

接着需要启用RSA认证，启动公钥私钥配对认证方式：

vim /etc/ssh/sshd_config 如果提示权限不足在命令前加上sudo；

	1.修改ssh配置：

RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

重启 SSH

			service ssh restart

好了准备工作已经做完了，我们要开始修改 Hadoop 的配置文件了，总共需要修改 6 个文件。分别是：

• hadoop-env.sh；

• yarn-env.sh ；

• core-site.xml；

• hdfs-site.xml；

• mapred-site.xml；

• yarn-site.xml。

1. hadoop-env.sh 配置：
   
   编辑 hadoop-env.sh在文件中插入如下代码：

**# The java implementation to use.**    
export JAVA_HOME=/java/jdk1