hadoop学习笔记2（集群搭建）

最新推荐文章于 2022-07-12 16:21:40 发布

weixin_53220531

最新推荐文章于 2022-07-12 16:21:40 发布

阅读量137

点赞数

本文链接：https://blog.csdn.net/weixin_53220531/article/details/117402341

版权

1、搭建Hadoop集群准备操作

1、关闭防火墙：

systemctl stop firewalld.service
systemctl disable firewalld.service(永久关闭)

2、关闭selinux

vim /etc/sysconfig/selinux
SELINUX=disabled

3、内部网络的配置

BOOTPROTO = static
ONBOOT = yes
GATEWAY、IPADDR、NETMASK三个输入好之后保存并退出

让刚才配置的网络生效

service network restart

之后ping个ip测试一下网络能否运行
4、在虚拟机中安装jbk和hadoop并完成配置
首先用xshell将安装包保存到你所创建的目录当中

		#之后将压缩包解压
        cd hadhoop/     (切换到Hadoop目录下)
        ll               （查看目录信息）
        tar –zxvf hadoop -2.9.2.tar.gz （解压Hadoop） 
        rm –rf hadoop -2.9.2.tar.gz （删除Hadoop解压包）
        cd ../java （到java目录下）
        tar –zxvf jdk-8uzll-linux-x64.tar.gz解压java） 
        rm –rf jdk-8uzll-linux-x64.tar.gz （删除java解压包）

编辑环境变量：

vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile #生效配置文件
cd /usr/local/hadoop/hadoop -2.9.21/etc/hadoop/
vim hadoop –env.sh
#在其中修改Java路径:
export JAVA_HOME=/usr/local/java/jdk1.8.0_211/
vim core –site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.81.101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-2.9.2/tmp</value>
</property>
vim hdfs –site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

配置完成后格式化并启动：

hadoop namenode –format
start-dfs.sh

最后输入jps验证是否操作成功

2、集群的搭建

1、创建三台虚拟机并配置好网络
2、在创建三个新的hadoop
3、三台连接到Xshell
4、分别修改三台主机名并重启

vim /etc/hostname 
reboot

5、配置映射

vim /etc/hosts 
ssh-keygen -t rsa
#复制公钥：
ssh-copy–id hadoop111
ssh-copy–id hadoop112
ssh-copy–id hadoop113
（ssh免密登陆）

6、Hadoop配置
同上准备

# 复制主机的Hadoop到另外两台机器上
cd /usr/local/java
scp -r jdk1.8.0_211/  hadoop112:$PWD
scp -r jdk1.8.0_211/  hadoop113:$PWD
#复制主机的java到另外两台
cd /usr/local/java
scp -r jdk1.8.0_211/  hadoop112:$PWD
scp -r jdk1.8.0_211/  hadoop113:$PWD
#复制主机的环境变量到另外两台
cd /
scp-r /etc/profile hadoop112:/etc/
scp-r /etc/profile hadoop113:/etc/ 
source  /etc/profile
#在主机进行格式化与启动
格式化： hadoop namenode –format根目录下执行
启动： start-dfs.sh