Hadoop伪分布式环境搭建

linux下安装JDK

1. 给jdk执行权限
   chmod u + x jdk-7u67-linux-x64.tar.gz
2. 解压jdk文件
   tar -zxf jdk-7u67-linux-x64.tar.gz
3. 配置环境变量

edit this file: vi /etc/profile

## JAVA_HOME
export JAVA_HOME=/home/ycong/sofewares/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

生效环境变量配置命令：source /etc/profile   

安装hadoop前，linux系统设置

• 设置主机名

edit this file：  vi /etc/sysconfig/network     
HOSTNAME=bigdata01.ycong.com

• 设置Ip地址为静态ip，使用setup命令

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"               ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"           ###
NETMASK="255.255.255.0"          ###
GATEWAY="192.168.1.1"            ###

• 关闭防火墙

#查看防火墙状态
service iptables status
#永久关闭
chkconfig iptables off
#临时关闭
service iptables stop

• 关闭selinux

vi /etc/sysconfig/selinux
改为SELINUX=disabled

• 配置映射

windows:   C:\Windows\System32\drivers\etc\host
linux:     /etc/hosts
192.168.134.2 bigdata01.ycong.com ycong

• 创建目录，放置常用软件

mkdir /opt/app
mkdir /opt/softwares
chown -R ycong:ycong /opt/*

hadoop安装，配置文件修改

• 配置hadoop，伪分布式需要修改5个配置文件

  • 第一个：hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_65

  • 第二个：core-site.xml

    <!-- 指定HADOOP所使用的文件系统（URI），HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata.eclipse.com:8020</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录,datanode的文件存放目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-2.5.0/data</value>
    </property>

  • 第三个：hdfs-site.xml

    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- namenode -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata.eclipse.com:50070</value>
    </property>
    <!-- second namenode -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata.eclipse.com:50090</value>
    </property>

  • 第四个：mapred-site.xml

    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

  • 第五个：yarn-site.xml

    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata.eclipse.com</value>
      </property>
     <!-- reducer获取数据的方式 -->
     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <!--开启日志聚合-->
     <property>
           <name>yarn.log-aggregation-enable</name>
           <value>true</value>
     </property>
     <!--保存日志记录一周-->
     <property>
           <name>yarn.log-aggregation.retain-seconds</name>
           <value>604800</value>
     </property>  

• 格式化namenode
  bin/hdfs namenode -format
• 启动namenode
  sbin/hadoop-daemon.sh start namenode
• 启动datanode
  sbin/hadoop-daemon.sh start datanode
• 启动resourcemanager
  sbin/yarn-daemon.sh start resourcemanager
• 启动nodemanager
  sbin/yarn-daemon.sh start nodemanager
• 启动historyserver
  sbin/mr-jobhistory-daemon.sh start historyserver
• 启动second namenode
  sbin/hadoop-daemon.sh start secondarynamenode

• 验证是否启动成功

  使用jps命令验证
  27408 NameNode
  28218 Jps
  27643 SecondaryNameNode
  28066 NodeManager
  27803 ResourceManager
  27512 DataNode
  
  http://bigdata.eclipse.com:50070 （HDFS管理界面）
  http://bigdata.eclipse.com:8088 （MR管理界面）