CentOS7安装hadoop2.7.3-单机版

安装版本

操作系统：CentOS7 64位

IP地址：192.168.43.61

Hadoop版本：2.7.3

JDK版本：OpenJDK 1.8 64位

OpenJDK安装

使用yum安装OpenJDK1.8，参看博客：Linux下OpenJDK安装

安装完毕后要配置好环境变量，这里设置全局的环境变量，即修改 /etc/profile 文件

环境准备

1. 关闭防火墙并设置开机禁用（单机版通常是学习用的，因此这里直接简单粗暴将防火墙关闭）

   systemctl stop firewalld.service
   systemctl disable firewalld.service
   

2. 配置hosts

   vim /etc/hosts
   
   #输入如下内容
   192.168.43.61 hmaster
   

3. 创建hadoop用户并设置密码（这里设置为hadoop/123456）

   useradd hadoop
   passwd hadoop
   

4. 查看是否安装了ssh客户端，若未安装，则必须先安装

   # 查看是否安装ssh客户端
   rpm -qa|grep ssh
   
   # 安装ssh客户端命令
   yum install openssh-clients.x86_64
   

   
5. 校验ssh登录

   ssh localhost
   

   

hadoop安装

1. 下载 hadoop-2.7.3.tar.gz，下载地址：https://archive.apache.org/dist/hadoop/common/
2. 切换到hadoop用户，将hadoop-2.7.3.tar.gz上传、解压、配置环境变量

   su hadoop
   cd /home/hadoop
   tar -zxvf hadoop-2.7.3.tar.gz
   
   su root
   vim /etc/profile
   # 输入如下内容后保存
   export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   
   source /etc/profile
   

3. 配置hadoop运行环境文件 hadoop-env.sh

   su hadoop
   vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
   
   # 指定java主目录
   export JAVA_HOME=/usr/lib/jvm/java-1.8.0
   

4. 配置 core-site.xml

   vim /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
   
   <!-- 输入如下内容 -->
   <configuration>
     <!-- NameNode位置 -->
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hmaster:9000</value>
     </property>
     <!-- 临时目录 -->
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/home/hadoop/hadoop-2.7.3/tmp</vaue>
     </property>
   </configuration>
   

5. 配置 hdfs-site.xml

   vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
   
   <!-- 输入如下内容 -->
   <configuration>
     <!-- hdfs副本数 -->
     <property>
       <name>dfs.replication</name>
       <value>1<value>
     </property>
   </configuration>
   

6. 配置 mapred-site.xml

   cp /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
   vim /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
   
   <!-- 输入如下内容 -->
   <configuration>
     <!-- 设置MapReduce运行在Yarn上 -->
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>
   

7. 配置 hdfs-site.xml

   vim /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
   
   <!-- 输入如下内容 -->
   <configuration>
     <!-- 指定YARN的老大（ResourceManager）的地址  -->
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hmaster</value>
     </property>
     <!-- reducer获取数据的方式  -->
     <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
     </property>
   </configuration>
   

8. 格式化NameNode

   su hadoop
   hdfs namenode -format
   

   
9. 免密登录

   su hadoop
   
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   chmod 0600 ~/.ssh/authorized_keys
   

10. 启动

    start-all.sh
    

    

验证

查看进程号：jps

访问NameNode：http://192.168.43.61:8088

访问hdfs：http://192.168.43.61:50070

参考

官方手册：Hadoop: Setting up a Single Node Cluster