Hadoop集群搭建08_安装Hadoop

最新推荐文章于 2023-03-19 21:38:38 发布

源哥v587

最新推荐文章于 2023-03-19 21:38:38 发布

阅读量141

点赞数

分类专栏：集群搭建文章标签： hadoop hdfs linux

本文链接：https://blog.csdn.net/xingen002/article/details/128553434

版权

集群搭建专栏收录该内容

9 篇文章 0 订阅

订阅专栏

该文详细介绍了在Linux环境中安装Hadoop3.1.1的步骤，包括上传和解压安装包，配置JAVA_HOME，设置namenode和datanode的相关参数，分发安装文件到集群中的其他节点，初始化Hadoop以及启动namenode和datanode的过程。

摘要由CSDN通过智能技术生成

安装环境和整体步骤

环境
	java环境
	集群中的每台机器的ip  域名映射 主机名
	集群的免密配置
步骤 
	上传
	解压
	配置
	分发
	初始化
	启动

1.上传
rz 命令上传将hadoop-3.1.1.tar.gz 上传到linux的/opt/apps 文件夹下
如果没有可以自己创建文件夹资料位置
链接：https://pan.baidu.com/s/1f–U_kB6LqxxKlUO2yJEIA?pwd=o3h9
提取码：o3h9

cd /opt/apps
rz 上传

在这里插入图片描述
2.解压

tar -zxvf hadoop-3.1.1.tar.gz

在这里插入图片描述

由于里面有一些文档文件 ,说明文档,没什么用,并且都是一些小文件,避免分发时间过长,可以先删除
在hadoop中的share文件夹呢

rm -rf /opt/apps/hadoop-3.1.1/share/doc

3.配置
在这里插入图片描述
先配置JAVA_HOME的位置

-- 文件  /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh 
vi hadoop-env.sh
# shift + G 最后一行 o 下一行插入

export JAVA_HOME=/opt/apps/jdk1.8.0_191 #这里写linux上jdk的路径

配置namenode

-- 文件  /opt/apps/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
vi hdfs-site.xml
# 将下面的内容粘贴到<configuration></configuration>标签中
#注意 先进入到插入模式 按i 再粘贴

 <!-- 集群的namenode的位置  datanode能通过这个地址注册-->
	<property>
	     <name>dfs.namenode.rpc-address</name>
		 <value>linux01:8020</value>
	</property>
	 <!-- namenode存储元数据的位置 -->
	<property>
	     <name>dfs.namenode.name.dir</name>
		 <value>/opt/hdpdata/name</value>
	</property>
	 <!-- datanode存储数据的位置 -->
	<property>
	     <name>dfs.datanode.data.dir</name>
		 <value>/opt/hdpdata/data</value>
	</property>
	 <!-- secondary namenode机器的位置-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>linux02:50090</value>
	</property>

4.分发安装包

#进入到apps文件夹中  将hadoop文件夹远程复制linux02 linux03
cd /opt/apps
#远程复制文件夹 到linux02 linux03  /opt/apps下
scp -r  hadoop-3.1.1  linux02:$PWD
scp -r  hadoop-3.1.1  linux03:$PWD

在这里插入图片描述
5.初始化
进入到hadoop的bin文件夹下进行初始化 linux01

cd /opt/apps/hadoop-3.1.1/bin
#
./hadoop   namenode   -format
#初始化后 opt下会多出一个文件夹hdpdata

在这里插入图片描述

注意:如果初始化失败,可以检查错误后重新初始化但是要先删除 /opt/hdpdata文件夹
6.启动
单点启动
先启动namenode

# 进入到hadoop的sbin目录下   linux01
./hadoop-daemon.sh   start  namenode   
#启动成功后可以访问页面
http://linux01:9870

在这里插入图片描述
启动linux01 linux02 linux03的datanode

#进入到hadoop的sbin目录下  linux01 linux02 linux03
./hadoop-daemon.sh  start  datanode

在这里插入图片描述
启动成功后页面可以看到对应节点的信息

一键启停
为了方便今后启动我们将sbin目录配置到环境变量中

vi  /etc/profile  
export  JAVA_HOME=/opt/apps/jdk1.8.0_191
export  HADOOP_HOME=/opt/apps/hadoop-3.1.1
export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存后 
source /etc/profile

配置集群文件  hadoop的etc/hadoop/目录下workers 告知有哪些机器
vi workers
linux01
linux02
linux03

修改hadoop的sbin下的 start-dfs.sh stop-dfs.sh
vi start-dfs.sh 
在第一行后插入
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

vi stop-dfs.sh
在第一行后插入
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

配置后 可以在任意目录下 
stop-dfs.sh 停止
start-dfs.sh 启动