hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装

1. 第一步

       上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/

2.  第二步 配置hadoop

hadoop-2.7.3的搭建需要修改5个配置文件

第一个：hadoop-env.sh

vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.8.0_45

第二个：core-site.xml


<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.7.3/tmp</value>
                </property>

第三个：hdfs-site.xml 
                
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
                </property>

第四个：mapred-site.xml (改名后得到的文件)


mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml


<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
    </property>

第五个：yarn-site.xml


<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
    </property>
<!-- reducer获取数据的方式 -->
    <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
      </property>

3.  第三步 将hadoop添加到环境变量

          vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.8.0_45
  export JRE_HOME=$JAVA_HOME/jre
  export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.3

  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

4.  第四步 格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format 已经过时，但是依然可用)

5.  第五步 启动hadoop

    

   cd /home/hadoop/app/hadoop-2.7.3/sbin

           执行命令start-all.sh

Hadoop搭建到此结束，接下来是验证是否搭建成功

  使用jps命令验证

       出现以下结果，表明启动成功
[root@hadoop01 sbin]# jps
    6417 DataNode
7207 NodeManager
6920 ResourceManager
7258 Jps
6235 NameNode
6700 SecondaryNameNode


界面访问
                #http://192.168.18.128:50070 （HDFS管理界面）
http://192.168.18.128:8088 （MR管理界面）

Hadoop 环境搭建优化

配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh


ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost

优化后，启动start-all.sh命令时，无需每次都输入密码，方便使用