hadoop集群搭建安装步骤从0开始

相关视频教程链接: hadoop集群搭建安装步骤从0开始
相关资料包在视频评论区
视频里有详细的搭建环境前准备和搭建教程

1、配置java和hadoop环境

解压文件文件：
[root@localhost ~]# tar -zxvf hadoop-2.7.5.tar.gz
[root@localhost ~]# tar -zxvf jdk-8u162-linux-x64.tar.gz 
--------------------------------------------------------------
移动到opt文件：
[root@localhost ~]# mv jdk1.8.0_162 /opt/jdk
[root@localhost ~]# mv hadoop-2.7.5 /opt/hadoop
命令为：移动到opt目录并改名为hadoop和jdk

配置环境变量
[root@localhost ~]# vi /etc/profile
按一下大写的G就可以看到最后一行
按小写的o进入编辑模式，并且自动切换到下一行
加入这几行
export JAVA_HOME=/opt/jdk
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新配置
[root@localhost ~]# source /etc/profile

测试java
[root@localhost ~]# java -version
测试hadoop
[root@localhost ~]# hadoop

2、配置hadoop环境

配置映射

[root@localhost ~]# vi /etc/hosts
192.168.200.101 hadoop101 hadoop101.hadoop.com
192.168.200.102 hadoop102 hadoop102.hadoop.com
192.168.200.103 hadoop103 hadoop103.hadoop.com

解释：hadoop101、hadoop102、hadoop103是以后克隆主机后需要设置主机的名字，目前先配置好
克隆后就不用重复设置了
------------------------------------------------------------------------------------------分割线
关闭防火墙
[root@localhost ~]# systemctl stop firewalld
开机不启动
[root@localhost ~]# systemctl disable firewalld
------------------------------------------------------------------------------------------分割线
关闭selinux
按a进入的编辑模式
[root@localhost ~]# vi /etc/selinux/config
改成disable
------------------------------------------------------------------------------------------分割线
开始设置hadoop
[root@localhost ~]# cd /opt/hadoop/etc/hadoop/
[root@localhost ~]# vi slaves
hadoop102
hadoop103
------------------------------------------------------------------------------------------分割线
[root@localhost ~]#  vi core-site.xml

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop101:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
   <!--视自身的安装位置决定-->
     <value>/opt/hadoop/tmp</value>
</property>

------------------------------------------------------------------------------------------分割线
[root@localhost ~]# vi hdfs-site.xml
<property>
      <name>dfs.replication</name>
      <value>2</value>
</property>
<property>
   <!--以自身安装目录为准-->
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hdfs/name</value>
</property>
<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop/hdfs/data</value>
</property>
------------------------------------------------------------------------------------------分割线
修改自带设置
[root@localhost ~]# vi hadoop-env.sh
export JAVA_HOME=/opt/jdk
------------------------------------------------------------------------------------------分割线
修改自带设置
[root@localhost ~]# vi yarn-env.sh
export JAVA_HOME=/opt/jdk
------------------------------------------------------------------------------------------分割线
[root@localhost ~]# vi yarn-site.xml
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的ResourceManager的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop101</value>
</property>



------------------------------------------------------------------------------------------分割线

这个配置文件需要自己复制一下改名字
[root@localhost ~]# cp mapred-site.xml.template  mapred-site.xml
[root@localhost ~]# vi mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

配置完成ok

3、克隆2台虚拟机（成为集群）

修改2个克隆的主机ip为102和103
先开机一个
hadoop101的压力较大，所以要大一些，关机虚拟机可以调性能
修改主机名字
[root@localhost ]# hostnamectl set-hostname hadoop101
[root@localhost ]# hostnamectl set-hostname hadoop102
[root@localhost ]# hostnamectl set-hostname hadoop103
更新名字命令： su


三台主机执行生成秘钥
[root@localhost ]# ssh-keygen -t rsa

三台主机秘钥拷贝到主机1
ssh-copy-id hadoop101

从hadoop101大哥拷贝到hadoop102和hadoop103小弟
[root@localhost ]# scp /root/.ssh/authorized_keys hadoop102:/root/.ssh/
[root@localhost ]# scp /root/.ssh/authorized_keys hadoop103:/root/.ssh/
检查完毕


测试命令：
	进入：ssh hadoop102
	退出：exit

4、启动hadoop

首选3台机子都建立快照，喝一口后悔药

hadoop101初始化集群
[root@localhost ~]#  cd /opt/hadoop/bin/
[root@localhost ~]# hdfs namenode -format
[root@localhost ~]# cd /opt/hadoop/sbin/
开启集群
[root@localhost ~]# start-all.sh
测试
http://192.168.200.101:8088/
http://192.168.200.101:50090/
http://192.168.200.101:50070/
大结局了
完成
可以停止集群
[root@localhost ~]# stop-all.sh
完毕