HADOOP集群搭建超详细版

HADOOP集群搭建

一、修改主机名（分两步）

1.进入 /etc/sysconfig/network 将以下两行加进去，然后保存

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop(你的主机名)

2.vim /etc/hostname(删除里面的内容，加入你的主机名字)
注意：完成以上两步一定要重启虚拟机：reboot

二、修改 vim /etc/hosts文件,将三个节点的IP地址以及对应的主机名加进去.

192.168.196.11 hadoop1
192.168.196.22 hadoop2
192.168.196.33 hadoop3

三、安装Java环境

1.将JDK压缩吧通过XFTP传输到虚拟机当中。
2.将JDK解压到/opt路径中并且mv把名字改成JDK（方便以后的操作）
解压命令：tar -xzvf jdk........ -C /opt
修改名字命令:mv jdk...... jdk

3.配置环境变量 vim /etc/profile

export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin

4.重启环境变量：source /etc/profile
5.查看是否配置成功：java -version

四、配置密钥ssh.

1.在root用户下输入ssh-keygen -t rsa

2.cd进入~/.ssh,会有两个文件，一个是公钥一个是私钥。

3.在主节点执行cp id_rsa.pub authorized_keys

4.修改权限为600：chmod 600 authorized_keys

5.将密钥分给其他节点，会提示输入密码，输入密码即可。
①命令：scp /root/.ssh/authorized_keys root@hadoop2:/root/.ssh

6.最后在每个节点上面修改权限为600（完成之后尝试连接每个节点）

五、安装HADOOP并配置环境变量。

1.将hadoop解压到/opt目录下并mv修改名字为hadoop.
命令①：tar -xzvf hadoop........ -C /opt
命令②：mv hadoop....... hadoop

2.进入cd /opt/hadoop/etc/hadoop目录下，将Java环境添加到hadoop-env.sh和yarn-env.sh
环境变量：export JAVA_HOME=/opt/jdk

3.配置hadoop环境变量 vim /etc/profile(以下是所有的环境变量)

export JAVA_HOME=/opt/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$ZOOKEEPER_HOME
export HADOOP_HOME=/opt/hadoop
export ZOOKEEPER_HOME=/opt/zookeeper
```![在这里插入图片描述](https://img-blog.csdnimg.cn/7a5366ad696442939eba352622be3751.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAWXV4aW5aaGE=,size_20,color_FFFFFF,t_70,g_se,x_16)


## 六、配置文件配置。

1.①手动创建/opt/hadoop/tmp文件 ②手动创建/opt/hadoop/dfs/name 2.③手动创建/opt/hadoop/data
2.修改core-site.xml

fs.defaule.name hdfs://hadoop1:9000 hadoop.tmp.dir /opt/hadoop/tmp

2.修改hdfs-site.xml文件

dfs.replication 2 dfs.namenode.name.dir file:/opt/hadoop/dfs/name dfs.datanode.data.dir file:/opt/hadoop/dfs/data

3.mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.webapp.address hadoop1:10020 mapreduce.jobhistory.webapp.address hadoop1:19888

4.yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-service.mapreduce.shuffle.class org.apche.hadoop.mapred.ShuffleHandler yarn,resourcemanger.address hadoop1:8032 yarn.resourcemanger.scheduler.address hadoop1:8030 yarn.resourcemanger.resource-tracker.address hadoop1:8031 yarn.resournmanger.webapp.address hadoop1:8033

6.完成好hadoop1里面的hadoop，一定要把配置好的hadoop分发到其他主节点上，此操作完成之后方可初始化hadoop，否则会失败。

scp -r /opt/hadoop/ root@hadoop2:/opt
scp -r /opt/hadoop/ root@hadoop3:/opt

七、启动Hadoop。
1.进入/opt/hadoop里面
2.第一次启动必须初始化，只能初始化一次！！！

bin/hdfs namenode -format

3.①一键启动hadoopsbin/stsrt-all.sh
②一键关闭hadoopsbin/stop-all.sh
4.查看节点jps
5.在浏览器访问hadoop192.168.196.10:5007

关闭防火墙：systemctl stop firewalld 永久关闭：systemctl disable firenalld.service温馨提示： ①如果在web系统浏览器中无法打开hadoop端口，先找到C盘中winds里找到hosts，将三台的IP地址以及相应的主机名添加进去，跟Linux里操作一样。 ②如果以上操作还没有作用，打开cmd输入ipconfig /flushdns`