Hadoop-------安装过程及简单介绍（2）

二、Hadoop安装

        要求：

            1）保证环境中有变量JAVA_HOME

            2）创建一个普通用户，是用普通用户操作

                    注意权限问题

            3）在Hadoop中，所有进程均使用主机名作为通信条件

                    要求：所有安装Hadoop的机器，必须配置主机名和Ip的hosts映射。否则报错：xxxxx未知的主机名或服务   

 

    1、上传源码包

            使用Xshell和Xftp将源码包上传到soft目录中

 

    2、解压源码包到module目录中 

            在soft目录下使用如下命令解压文件到module目录下

tar -zxvf hadoop-2.7.2.tar.gz -C ../module/

            解压后module目录下内容如下

 

三、目录介绍

        1、解压后的文件hadoop-2.7.2文件夹下具体内容如图

 

        2、目录结构介绍

            1）bin----可执行目录

                  存放Hadoop常用工具、命令：   

                ①    其中最常用的就是hadoop命令

                        -----    操作HDFS

                        -----    执行MR程序

                        -----    管理yarn

                ②    hdfs命令   -------    操作HDFS

                ③    mapred命令-----    执行MR程序   

                ④    yarn命令    ------    管理yarn    

            2）sbin---superbin目录

                  超级管理员使用的命令  -----    对集群的管理命令（启动、停止）

                  内容如下

      

注意：     为了使用方便，将bin/和sbin/路径配置到path环境中

        使用如下命令编辑profile文件

vim /etc/profile

        配置如下变量

        运行命令使配置生效

source /etc/profile

        测试：使用命令

hadoop version

        显示内容如下

        则配置成功

            3）etc---    存储默认配置文件存放目录

            文件内容如下

          

              4）include---    存放的是C语言写的脚本

 

             5）lib----   存放底层库文件

 

            6）libexec---    存放一些用来配置你本地的一些环境的命令

                   hadoop-config.sh------配置Hadoop的

                   hdfs-config.sh----------配置HDFS的

                   mapred-config.sh------配置MR的

                   yarn-config.sh----------配置yarn的   

 

            7）share-----    存放的是常用的jar包

            doc/    ----    文档--空

     hadoop/    ----    jar包

       ①    common    ====》    通用的jar包

       ②      hdfs         ====》    和HDFS相关的jar包

       ③    httpfs        ====》    用restAPI 访问Hadoop的jar包

       ④    kms           ====》    做认证的

       ⑤     mapreduce====》    做计算的

       ⑥    tools           ====》   工具

       ⑦    yarn            ====》    与yarn相关的