在本地搭建hadoop环境时,如果搭建集群模式下的hdfs和yarn则占用资源较多,会影响到自己电脑的性能。
下面介绍如何搭建单机版hdfs和yarn。
虚拟机采用cenos6镜像,准备三台虚拟机:
spark1,spark2,spark3,其中 spark1 作为 namenode、secondary namenode、
datanode 和 resouremanager,spark2和 spark3 作为 datanode 和 nodemanager。
一、配置单机版hdfs
1)将hadoop-2.6.4_x64.tar.gz拷贝至linux下home目录下
tar -zxvf hadoop-2.6.4_x64.tar.gz
2)修改配置文件
A)vi /home/hadoop-2.6.4/etc/hadoop/hadoop-env.sh
修改为export JAVA_HOME=/usr/java/jdk1.7.0_79(jdk地址)
B)vi /home/hadoop-2.6.4/etc/hadoop/core-site.xml
<configuration>
<property>
//配置namenode主机和端口
<