centos7环境下hadoop-2.7.3伪分布式搭建

centos7环境下hadoop-2.7.3伪分布式搭建

##1、 修改主机名称 ##

###永久生效
hostnamectl set-hostname hadoop01

2、下载解压##

将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下

3、修改配置

首先切换目录到/usr/local/hadoop-2.7.3/etc/hadoop下

cd /usr/local/hadoop-2.7.3/etc/hadoop

• 修改hadoop-env.sh中的JAVA_HOME为

export JAVA_HOME=/usr/local/jdk1.8.0_111

• 修改core-site.xml

在configuration标签中添加如下属性

 <configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:8020</value>
 </property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop-2.7.3/data</value>
 </property>
</configuration>

• 修改hdfs-site.xml
  在configuration标签中添加如下属性

<configuration>
    <!-- 指定HDFS副本的数量 -->
    <property>
      <name>dfs.replication</name>
      <value>1</value>
     </property>
</configuration>

• 修改mapred-site.xml
  在configuration标签中添加如下属性

<configuration>
  <!-- 指定mr运行在yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• 修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定YARN的老大（ResourceManager）的地址 -->
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop01</value>
 </property>
 <!-- reducer获取数据的方式 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <!--使能够通过windows访问8088端口-->
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.1.105:8088</value>
   </property>
</configuration>

• 添加hadoop环境变量

#hadoop start 
export HADOOP_INSTALL=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
#hadoop end

执行 hadoop version命令，则可看到当前hadoop的版本

启动hadoop

• 首先格式化
  执行hdfs namenode -format命令

• 启动hdfs

start-dfs.sh

在浏览器输入地址 http://192.168.1.105:50070访问hdfs

• 启动yarn

start-yarn.sh

在浏览器输入地址http://192.168.1.105:8088/cluster

问题记录

1. 由于虚拟机后来变了ip地址yarn访问不了
   解决方法：将yarn-site的ip地址改为新的ip地址192.168.0.106
   重新启动yarn仍然不能访问
   
   查询端口，发现端口还在被原来的连接占用，kill掉
   重新启动yarn，端口就启动连到新的ip上了，yarn管理页面也可访问了