centos7环境下hadoop-2.7.3伪分布式搭建

centos7环境下hadoop-2.7.3伪分布式搭建

1、 修改主机名称

###永久生效
hostnamectl set-hostname hadoop01

2、下载解压

将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下

3、修改配置

首先切换目录到/usr/local/hadoop-2.7.3/etc/hadoop下

cd /usr/local/hadoop-2.7.3/etc/hadoop
  • 修改hadoop-env.sh中的JAVA_HOME为
export JAVA_HOME=/usr/local/jdk1.8.0_111
  • 修改core-site.xml

    在configuration标签中添加如下属性

 <configuration>
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:8020</value>
 </property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop-2.7.3/data</value>
 </property>
</configuration>
  • 修改hdfs-site.xml
    在configuration标签中添加如下属性

    <configuration>
     <!-- 指定HDFS副本的数量 -->
     <property>
       <name>dfs.replication</name>
       <value>1</value>
      </property>
    </configuration>
    
  • 修改mapred-site.xml
    在configuration标签中添加如下属性

<configuration>
  <!-- 指定mr运行在yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
  • 修改yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定YARN的老大(ResourceManager)的地址 -->
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop01</value>
 </property>
 <!-- reducer获取数据的方式 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <!--使能够通过windows访问8088端口-->
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.1.105:8088</value>
   </property>
</configuration>
  • 添加hadoop环境变量
#hadoop start 
export HADOOP_INSTALL=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
#hadoop end

执行 hadoop version命令,则可看到当前hadoop的版本

启动hadoop

  • 首先格式化
    执行hdfs namenode -format命令

  • 启动hdfs

start-dfs.sh

在浏览器输入地址 http://192.168.1.105:50070访问hdfs
hdfs

  • 启动yarn
start-yarn.sh

在浏览器输入地址http://192.168.1.105:8088/cluster
这里写图片描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/tszxlzc/article/details/61635411
文章标签: hadoop
个人分类: hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭