Linux 伪集群搭建 Hadoop

环境准备

• centos 7
• jdk 1.8
• hadoop-3.1.1

安装步骤

• 安装 jdk(略)
• 下载 hadoop-3.1.1

wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz

• 解压 hadoop-3.1.1,并进入目录

tar -zxvf hadoop-3.1.1
cd hadoop-3.1.1

• 配置 jdk 环境

echo $JAVA_HOME

一般来说都在 /usr/lib/jvm/ 目录下，我的是 /usr/lib/jvm/java-1.8.0

vi etc/hadoop/hadoop-env.sh

添加如下：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export HADOOP_CONF_DIR=/dao/hadoop-3.1.1/etc/hadoop

• core-site.xml

vi etc/hadoop/core-site.xml

<configuration>
	<property>
       		<name>yarn.resourcemanager.hostname</name>
       		<value>localhost</value><!--配置hadoop resourcemanager 的主机名称    就是你的namenode节点的节点的名称-->
	</property>
	<property>
       		<name>yarn.nodemanager.aux-services</name>
       		<value>mapreduce_shuffle</value>
	</property>
</configuration>

• hdfs-site.xml

vi etc/hadoop/hdfs-site.xml

<configuration>
	<property>
       		<name>dfs.replication</name><!--设置hadoop文件的副本个数 -->
       		<value>1</value>
	</property>
	<property>
      		<name>dfs.permissions</name>
       		<value>false</value>
	</property>
</configuration>

• mapred-site.xml

vi etc/hadoop/mapred-site.xml

<configuration>
	<property>
       		<name>mapreduce.framework.name</name>
       		<value>yarn</value>
	</property>
</configuration>

• yarn-site.xml

vi etc/hadoop/yarn-site.xml

<configuration>
	<property>
       		<name>yarn.resourcemanager.hostname</name>
       		<value>localhost</value><!--配置hadoop resourcemanager 的主机名称    就是你的namenode节点的节点的名称-->
	</property>
	<property>
       		<name>yarn.nodemanager.aux-services</name>
       		<value>mapreduce_shuffle</value>
	</property>
</configuration>

• dfs 启动项添加配置

vi sbin/start-dfs.sh
vi sbin/stop-dfs.sh

分别打开以上文件，并在文件顶部添加如下配置

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

• yarn 启动项配置

vi sbin/start-yarn.sh
vi sbin/stop-yarn.sh

分别打开以上文件，并在文件顶部添加如下配置

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

• 格式化

./bin/hadoop namenode -format

• 启动

./sbin/start-all.sh

jps

需要云服务器的不要错过优惠

阿里云低价购买云服务，值得一看