Hadoop Yarn 安装

本文详细记录了在Linux环境下,安装配置Hadoop 2.2.0 Yarn集群的步骤,包括事前准备、安装Java、配置SSH无密码登录、安装Hadoop、启动Hadoop集群以及测试集群的过程,旨在建立一个基于Yarn的Spark集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:Linux, 8G 内存,60G 硬盘 , Hadoop 2.2.0

为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。

事前准备

1. 机器准备

三台主机,#后面说明了用途
  • 192.168.1.1   #hadoop1 : master
  • 192.168.1.2   #hadoop2 : datanode1
  • 192.168.1.3   #hadoop3:  datanode2

在hadoop1上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop1
在hadoop2上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop2
在hadoop3上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop3

在三台机器上,在/etc/hosts末尾添加
  • 192.168.1.1   hadoop1
  • 192.168.1.2   hadoop2
  • 192.168.1.3   hadoop3

在hadoop1上, 运行 hostname hadoop1
在hadoop2上, 运行 hostname hadoop2
在hadoop3上, 运行 hostname hadoop3

exit重连之后,hostname 就会变成hadoop[1-3],这样做的好处是ssh hadoop2 会自动解析连接192.168.1.2,方便以后使用。这也是短域名实现的方式。

2. 目录创建
### Hadoop YARN 安装教程与环境配置 #### 环境准备 为了成功部署Hadoop YARN,在开始之前需确保操作系统已准备好。推荐的操作系统为CentOS,其网络应被适当设置以便集群内的节点能够互相通信[^1]。 #### Java环境安装 YARN依赖于Java运行环境。通过编辑`~/.bashrc`文件来设定必要的环境变量,具体操作如下: ```bash export JAVA_HOME=/usr/java/jdk1.8.0_171 export CLASSPATH=$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin source ~/.bashrc ``` 上述命令会将JDK路径加入系统的环境变量中,使得可以在任何地方调用Java编译器和其他工具[^4]。 #### SSH无密码登录配置 为了让各节点之间可以无障碍地相互访问,需要配置SSH免密登录功能。这一步骤对于后续启动和管理分布式应用至关重要。 #### 下载并解压Hadoop软件包 获取官方发布的稳定版本,并将其放置在一个合适的位置上。例如: ```bash wget http://mirror.metrocast.net/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz tar -xzvf hadoop-3.1.0.tar.gz mv hadoop-3.1.0 ~/hadoop3 cd ~/hadoop3 ``` 此过程完成了Hadoop及其组件(含YARN)的基础安装工作[^2]。 #### 修改Hadoop配置文件 进入`etc/hadoop`目录下找到核心配置文件如`core-site.xml`, `yarn-site.xml`等进行相应调整以适应实际需求。特别是要定义NameNode地址、资源管理和调度策略等内容。 #### 启动服务 完成以上准备工作后就可以尝试启动整个框架了。通常情况下只需要简单输入几条指令即可让所有相关进程正常运作起来。需要注意的是首次启动前可能还需要初始化命名空间或者格式化文件系统[^3]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值