环境准备
- centos 7
- jdk 1.8
- hadoop-3.1.1
安装步骤
- 安装 jdk(略)
- 下载 hadoop-3.1.1
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
- 解压 hadoop-3.1.1,并进入目录
tar -zxvf hadoop-3.1.1
cd hadoop-3.1.1
- 配置 jdk 环境
echo $JAVA_HOME
一般来说都在 /usr/lib/jvm/ 目录下,我的是 /usr/lib/jvm/java-1.8.0
vi etc/hadoop/hadoop-env.sh
添加如下:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export HADOOP_CONF_DIR=/dao/hadoop-3.1.1/etc/hadoop
- core-site.xml
vi etc/hadoop/core-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value><!--配置hadoop resourcemanager 的主机名称 就是你的namenode节点的节点的名称-->
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- hdfs-site.xml
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name><!--设置hadoop文件的副本个数 -->
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- mapred-site.xml
vi etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml
vi etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value><!--配置hadoop resourcemanager 的主机名称 就是你的namenode节点的节点的名称-->
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- dfs 启动项添加配置
vi sbin/start-dfs.sh
vi sbin/stop-dfs.sh
分别打开以上文件,并在文件顶部添加如下配置
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
- yarn 启动项配置
vi sbin/start-yarn.sh
vi sbin/stop-yarn.sh
分别打开以上文件,并在文件顶部添加如下配置
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
- 格式化
./bin/hadoop namenode -format
- 启动
./sbin/start-all.sh
jps