win10下设置虚拟机配置hadoop-yarn单机伪分布环境

最新推荐文章于 2024-04-21 14:49:12 发布

斑驳若影

最新推荐文章于 2024-04-21 14:49:12 发布

阅读量1.7k

点赞数

文章标签： virtualbox centos hadoop 虚拟机 yarn

本文链接：https://blog.csdn.net/diogy/article/details/51121584

版权

本文详细介绍了在Win10环境下，如何使用VirtualBox虚拟机部署CentOS6.5，并配置Hadoop 2.6.2的YARN单机伪分布环境。步骤包括设置SSH免密码登录、配置Hadoop、设置JAVA_HOME、创建用户和用户组、配置相关XML文件、调整Java堆大小、格式化HDFS、启动HDFS和YARN服务，以及验证服务运行状态和运行MapReduce示例程序。

摘要由CSDN通过智能技术生成

win10下设置虚拟机配置hadoop-yarn单机伪分布环境

本文以CentOS6.5为主，虚拟机以VirtualBox，hadoop版本为2.6.2：
一、设置ssh及网络
1. 配置ssh免密码登录

ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys

2.修改host主机配置
linux通过这个文件知道某个ip对应于某个主机名，如比方说google的ip是10.23.56.238，那么可以在这个文件的最后加上一行：
10.23.56.238 google.com

vi /etc/hosts

二、配置hadoop
1.下载并安装Hadoop

#mkdir -p /opt/yarn
#cd /opt/yarn
#tar xvzf hadoop-2.5.2.tar.gz

2.设置JAVA_HOME
本文以内置的openJDK为例，

#echo "export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre" > /etc/profile.d/java.sh
#source /etc/profile.d/java.sh

3.创建用户和用户组

#groupadd hadoop
#useradd -g hadoop yarn
#useradd -g hadoop hdfs
#useradd -g hadoop mapred

4.创建数据和日志目录
Hadoop需要不同权限的数据和日志目录，

#mkdir -p /var/data/hadoop/hdfs/nn
#mkdir -p /var/data/hadoop/hdfs/snn
#mkdir -p /var/data/hadoop/hdfs/dn
#chown hdfs:hadoop /var/data/hadoop/hdfs -R
#mkdir -p /var/log/hadoop/yarn
#chown yarn:hadoop /var/log/hadoop/yarn