Hadoop最基础初学者集群安装

最新推荐文章于 2020-05-11 23:25:20 发布

兔子先生i

最新推荐文章于 2020-05-11 23:25:20 发布

阅读量242

点赞数 2

文章标签： hadoop bigdata

本文链接：https://blog.csdn.net/ai721207/article/details/80399341

版权

Hadoop集群安装

本次依照hadoop-2.7.6版本为例：

克隆vmware

克隆前先关闭防火墙
克隆完成后先修改hostname
方便自己知道自己打开的是哪一台服务器

         vim /etc/sysconfig/network

1个主节点：master(192.168.133.129)

修改内容：

         NETWORKING=yes
         HOSTNAME=master

2个从节点：slaver1(192.168.133.130)

添加内容：

        NETWORKING=yes
        HOSTNAME=slaver1

：slaver2(192.168.133.131)

添加内容：

        NETWORKING=yes
        HOSTNAME=slaver2

配置hosts

打开主节点的hosts文件并在文件中添加所有hadoop集群主机信息：

      vim /etc/hosts
      192.168.15.128   master
      192.168.15.129   slaver1
      192.168.15.130   slaver2

保存之后，将主节点的hosts分别拷贝到其他两个子节点

      scp /etc/hosts root@192.168.133.130:/etc/
      scp /etc/hosts root@192.168.133.131:/etc/

注：也可以直接复制过去。
然后分别执行（重启服务器也可以不执行下面的语句）：

      /bin/hostsname hostsname(修改后的服务器名)

例如：master上执行 /bin/hostsname master

配置ssh无密码访问

生成公钥秘钥对
在每个节点上分别执行：

     ssh-keygen -t rsa

3. 一直按回车直到生成结束（有的在生成期间出现yes/no？则需要执行yes）

4. 执行结束后每个节点上的/root/.ssh目录下生成了两个文件夹id_rsa和id_rsa.pub

5. 其中前者为私钥后者为公钥

6. 在主节点上执行：

     cp id_rsa.pub authorized_keys

7. 将子节点的公钥拷贝到主节点并添加进authorized_keys

8. 将两个子节点的公钥拷贝到主节点上，分别在两个主节点上执行：

    scp~/.ssh/id_rsa.pub root@master:~/.ssh/id_rsa_slaver1.pub
    scp~/.ssh/id_rsa.pub root@master:~/.ssh/id_rsa_slaver2.pub

    9. 然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去
      主节点上执行：

    cat id_rsa_slaver1.pub>>authorized_keys
    cat id_rsa_slaver2.pub>>authorized_keys

      最后测试是否匹配成功在master上分别执行：
      ssh slaver1
      ssh slaver2
      能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同
      方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

      这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys
      文件中都包含所有的节点生成的公钥内容。

   将主节点上的authorized_keys文件分别替换子节点的authorized_keys文件
       主节点上用scp命令将authorized_keys文件拷贝到子节点的相应的位置
       scp authorized_keys root@slaver1:/root/.ssh/
       scp authorized_keys root@slaver1:/root/.ssh/

4.安装hadoop

    在master主机上安装hadooop
    选择Hadoop安装的文件夹
       在根/目录下的opt目录下（也可以在/usr目录下）
       创建hadoop文件夹
       rz导入所下载的Hadoop
       解压所下载的Hadoop压缩包
       tar -zxvf hadoop-2.7.6.tar.gz
       在opt下面生成hadoop-2.7.6目录
       配置环境变量：
       vim /etc/profile
       在末尾添加：
       export HADOOP_HOME=/opt/hadoop/hadoop-2.7.6
       export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
       保存后使新编辑的profile生效：
       source /etc/profile

5.配置hadoop

配置hadoop配置文件

       需要配置文件的位置为/hadoop-2.7.6/etc/hadoop需要修改以下几个配置文件：
       hadoop-env.sh
       yarn-env.sh
       core-site.xml
       hdfs-site.xml
       mapred-site.xml
       yarn-site.xml
       slaves
       其中hadoop-env.sh和yarn-env.sh里面添加jdk的环境变量：

hadoop-env.sh中

       # The java implementation to use.

       export JAVA_HOME=/opt/java/jdk1.7.0_72(新添加的内容，其他的代码是文件中原有的)

       # The jsvc implementation to use. Jsvc is required to run secure datanodes
       # that bind to privileged ports to provide authentication of data transfer
       # protocol. Jsvc is not required if SASL is configured for authentication of
       # data transfer protocol using non-privileged ports.
       #export JSVC_HOME=${JSVC_HOME}

yarn-env.sh中

       # User for YARN daemons
       export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}
       # resolve links - $0 may be a softlink
       export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"
       # some Java parameters

       export JAVA_HOME=/opt/java/jdk1.7.0_72(为新添加的内容，其他的代码是文件中原有的)

mapred-site.xml中：

         <configuration>
           <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
          </property>
         </configuration>
    yarn-site.xml中：
         <configuration>
          <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
          </property>
          <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
          <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
          </property>
          <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
          </property>
          <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
          </property>
          <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
          </property>
          <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
          </property>
         </configuration>

slaves中：

          master
          slaver1
          slaver2

拷贝hadoop安装文件到子节点：

       主节点上执行：
          scp -r /usr/hadoop-2.6.4 root@slaver1:/usr
          scp -r /usr/hadoop-2.6.4 root@slaver2:/usr
    拷贝profile到子节点：
       主节点上执行：
          scp /etc/profile root@slaver1:/etc/
          scp /etc/profile root@slaver2:/etc/
          在两个子节点上分别使新的profile生效：
          source /etc/profile

格式化主节点的namenode：

       主节点上进入hadoop目录
       然后执行：
          ./bin/hadoop namenode –format
          新版本用下面的语句不用hadoop命令了
          ./bin/hdfs namenode –format
          提示：successfully formatted表示格式化成功

启动hadoop：

       主节点上在hadoop目录下执行：
          ./sbin/start-all.sh

          主节点上jps进程有：
          NameNode
          SecondaryNameNode
          ResourceManager
          每个子节点上的jps进程有：
          DataNode
          NodeManager
          如果这样表示hadoop集群配置成功

查看Hadoop日志文件：

运行程序后会有一个日志文件生成，在解压之后的文件中的logs文件中：

     Hadooop的日志文件：cd /opt/hadoop/hadoop-2.7.6/logs

在日志文件中找错误：tail-200文件名。

兔子先生i

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
Hadoop最基础初学者集群安装

Hadoop集群安装本次依照hadoop-2.7.6版本为例：1.克隆vmware 克隆前先关闭防火墙克隆完成后先修改hostname 方便自己知道自己打开的是哪一台服务器 vim /etc/sysconfig/network 1个主节点：master(192.168.133.129) 修改内容：NETWORKING=yes ...
复制链接

扫一扫