hadoop虚拟机搭建步骤

一、安装虚拟机（该操作可以操作三次，或者克隆）

1、进入安装界面后，在软件选择中选择安装基本界面
2、在网络和主机名中设置ip地址和主机名（该操作在三个虚拟机分别操作），并记录各虚拟机的主机名和对应的IP地址。

保存修改

将三个主机名和对应的ip地址分别为128—254
hadoop01 192.168.2.201
hadoop02 192.168.2.202
hadoop03 192.168.2.203
系统默认网关为192.168.2.2

在用户设置界面设置root账号密码和普通用户账号及密码，为了方便后续操作，三个虚拟机root账号密码均设置为root，普通用户用户名均为hadoop，密码也为hadoop。

后续操作用root用户操作 su root 然后输入密码
3、在三个虚拟机中配置hosts（三个均需操作）
参考网站：https://blog.csdn.net/a458383896/article/details/82876411

(1)修改主机名 vi /etc/hostname
然后添加主机名称后保存退出，注意，该操作如果前面设置了主机名，可以不做。
(2)使得三个节点相互可以识别，三个节点都做一样的操作 vi /etc/hosts
esc保存 然后 ：wq
然后依次添加三行
ip地址 主机名
然后保存退出
增加 教材37页4和5，关闭防火墙和修改启动级别
systemctl stop firewalld
systemctl set-default multi-user.target
添加普通用户hadoop的sodo权限
Root用户执行命令：vi /etc/sudoers
窗口一直往下拉，找到指定位置后增加一行，保存退出，由于权限较高，保存退出时用：wq！保存退出。
hadoop ALL=(ALL) ALL
4、设置ssh免密登录，目的方便三个节点之间直接通信
先切换到hadoop用户
使用hadoop用户输入
命令：ssh-keygen后一直回车
然后将公钥复制到每个节点中，命令：(教材38页)（每个节点都要操作）

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

然后在每个节点执行免密登录的命令查看是否成功：

ssh hadoop01
ssh hadoop02
ssh hadoop03

至此，基本操作完成。

5、安装软件
（1）使用第三方工具SecureCRT（机房电脑已安装）或者其他软件连接虚拟机，该操作一定要确保虚拟网卡处于工作状态。
（2）打开SecureCRT，依次填写主机名用户名（三个都要连接），并设置密码
勾选在标签页中打开后连接，弹出对话框选择“接受并保存”，即可连接虚拟机。

（3）在每个主机名处单击鼠标右键，在快捷菜单中选择打开SecureFX可以在左右两侧相互拖拽文件。
将jdk和hadoop的安装包分别放到虚拟机指定目录（放在哪里都可以，可以复制，最好是放在hadoop的家目录或者自己定义的目录，后续设置环境变量时要用），三个都要做同样的操作。

6、安装jdk，切记用Hadoop用户安装，参考网站
https://www.cnblogs.com/ysocean/p/6952166.html
（1）先检查是否有默认安装的 Open JDK，输入命令：java -version
若有显示，则已安装历史版本，如果可以使用，则保留使用，也可卸载后自己重新安装。
（2）查看jdk路径命令：java -verbose，出现一大堆乱七八糟的东西，最后两行可以看到目录。
（3）卸载命令：（该命令需用root用户执行）
先输出rpm -qa | grep jdk命令查看现有的jdk，

有两个需要卸载，然后使用命令
rpm -e --nodeps
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk-headless
rpm -e --nodeps java-1.8.0-openjdk
rpm -e --nodeps java-1.8.0-openjdk-headless
把所有历史版本清理了。一直到输入命令没有显示为止
（4）安装java（一定要切换到hadoop用户）
将java安装包复制到指定目录（可以是任何地方，教材上在用户的家目录，也可以自己制定，比如在usr目录中新建一个目录等，都可以）
本例是在/home/hadoop/目录下分别创建了两个目录，java和hadoop，并将安装包分别放在两个目录中。
除此之外，后续的hive和mysql也在此目录。
使用cd命令进入指定目录后安装，命令：tar -zxvf 文件名
提示：如果使用hadoop用户登录是，默认~目录中即可看到java和hadoop两个目录

cd ~
ls
cd java
ls
tar -zxvf jdk(按一下tab即可补充命令)

解压后，在当前目录中会多了一个目录，为了方便操作，可以将目录修改一下名称
命令：mv jdk1.8.0_73 jdk1.8
(5)配置环境变量（用root用户）
执行命令：vi /etc/profile
然后按 i，将光标定位到文件最后一行，在输入下面代码：（也可以按照教材38页图2-56输入）
export JAVA_HOME=/home/hadoop/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
保存并退出后，输入命令*source /etc/profile*使修改生效，
如果设置正确，输入命令java -version后可以看到安装好的版本
7、安装上述办法安装hadoop（必须用hadoop用户，切记不要用root用户）
注意 ：如果使用root用户安装，必须修改log目录的权限
（1）复制文件
（2）解压tar -zxvf hadoop(tab)
（3）改名(由于hadoop名字不长，可以不修改)
（4）配置环境变量（root用户）
执行命令：vi /etc/profile
然后按 i，将光标定位到文件最后一行，在输入下面代码：（也可以按照教材38页图2-56输入）(已经有了)
export JAVA_HOME=/home/hadoop/jdk/jdk1.8
export HADOOP_HOME=/home/hadoop/jdk/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:$HADOOP_HOME/sbin保存并退出后，输入命令source /etc/profile使修改生效，
8、配置hadoop文件（用root用户操作，可以按照教材39-41操作，注意目录即可）先将工作目录切换到/home/hadoop/jdk/hadoop-2.7.6/etc/hadoop
（1）修改环境变量

vi hadoop.env.sh

找到export JAVA_HOME={ *****}行，将等号后面内容删除，修改为
export JAVA_HOME=/home/Hadoop/jdk/jdk1.8/

（2）修改core-site.xml
该操作涉及hdfs的访问地址和文件存储目录，假设访问地址就为主机名，端口9000，文件存储目录在*/home/hadoop/data/hadoopdata*，该目录需要创建，用hadoop账号，执行命令：mkdir /home/hadoop/data/hadoopdata即可

然后修改文件（使用root用户操作）

vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata</value>
</property>
</configuration>

（3）修改hdfs-site.xml，该操作需要修改名称节点和数据节点的数据存储目录，节点备份个数，以及第二名称节点所在位置。
需要提前使用hadoop用户建立两个目录

mkdir  /home/hadoop/data/hadoopdata/name
mkdir  /home/hadoop/data/hadoopdata/data

执行命令：vi hdfs-site.xml （使用root用户操作）

在指定位置插入

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/hadoopdata/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/hadoopdata/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
</property>

（4）修改yarn-site.xml，配置yarn工作节点，工作在hadoop03节点上。
（使用root用户操作）执行命令：vi yarn-site.xml
在指定位置插入

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

（5）修改mapred-site.xml，将mp运行在yarn上，mapred-site.xml文件是不存在的，先将当前目录中mapred-site.xml.template文件创建一个副本，名称为mapred-site.xml，然后修改，命令：cp mapred-site.xml.template mapred-site.xml
（使用root用户操作）执行命令vi mapred-site.xml
在指定位置插入

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

（6）修改slaves
（使用root用户操作）执行命令vi slaves
删除原有内容，然后添加三行:
hadoop01
hadoop02
hadoop03
添加个节点名称，保存退出。
9、格式化HDFS(使用hadoop用户，在hadoop01节点执行)

hadoop namenode -format

10、启动hdfs(使用hadoop用户，在hadoop01节点执行)

start-dfs.sh

使用jps命令查看运行情况，要和教材一致，前面的数字可以不同，但项目必须相同

11、启动yarn，使用hadoop用户，在hadoop03节点执行

start-yarn.sh

使用命令jps查看，同上
12、在windows操作系统中，使用浏览器访问 查看hdfs
13、在windows操作系统中，使用浏览器访问 查看系统资源