参考 : Hadoop 集群安装详细步骤(2022.4.4)亲测有效_程序员小明。的博客-CSDN博客_hadoop集群安装
说明 : 由三个节点组成hadoop集群,操作系统为centos7.9,hadoop版本为2.7.2
1.设定部署环境机器和节点绑定
注 : 根据实际情况修改
cat >> /etc/profile <<'EOF'
node01=192.168.1.1
node02=192.168.1.2
node03=192.168.1.3
EOF
source /etc/profile
2.安装java(所有节点执行)
参考 : CentOS离线安装jdk8_JefferyC2018的博客-CSDN博客_centos 离线安装jdk8
3.各机器互相配置ssh免密(所有节点执行)
3.1.ssh需要输入yes去除
vi /etc/ssh/ssh_config
将
# StrictHostKeyChecking ask
修改成
StrictHostKeyChecking no
便可
重启sshd
systemctl restart sshd
3.2.生成ssh密钥
ssh-keygen -t rsa
回车 * 3
3.3.传输公钥到其他节点
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node01
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node02
ssh-copy-id -i /root/.ssh/id_rsa.pub root@$node03
或者
cat /root/.ssh/id_*.pub | ssh root@$node01 'cat >> .ssh/authorized_keys'
cat /root/.ssh/id_*.pub | ssh root@$node02 'cat >> .ssh/authorized_keys'
cat /root/.ssh/id_*.pub | ssh root@$node03 'cat >> .ssh/authorized_keys'
需要输入密码
3.4.验证(所有机器执行)
ssh root@$nodd01 "date"
ssh root@$nodd02 "date"
ssh root@$nodd03 "date"
能输出时间说明成功
4.设置hostname(所有节点执行)
/etc/hostname
依次替换内容为node01,node02,node03
重启机器
reboot
5.配置hadoop
5.1.下载hadoop
各版本下载地址 : Index of /dist/hadoop/common
本次安装版本为2.7.2,下载地址 : https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
5.2.修改配置
解压
tar -zxvf hadoop-2.7.2.tar.gz
mv hadoop-2.7.2 /home
修改配置文件,进入[hadoop-2.7.2/etc/hodoop]
修改[hadoop-env.sh],添加一下内容(javahome,以实际情况为准)
export JAVA_HOME=/opt/jdk1.8.0_181/
修改[core-site.xml] ,在 configuration 标签中添加如下的内容
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.2/data/tmp</value>
</property>
修改[hdfs-site.xml],在 configuration 标签中添加如下的内容
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node03:50090</value>
</property>
修改[slaves]文件,添加一下内容
node01
node02
node03
5.3.传输hadoop到其他节点
scp -r /home/hadoop-2.7.2 root@$node01
scp -r /home/hadoop-2.7.2 root@$node02
6.格式化(node01节点执行)
hdfs namenode -format
7.启动hadoop(所有节点执行)
所有节点依次执行一下命令启动hadoop
/home/hadoop/sbin/start-dfs.sh
8.验证
机器上执行 jps 命令,如果能看到NamNode或者DataNode说明启动成功
9.控制台
使用[node01:50070]访问