Hadoop完全分布式搭建

Hadoop完全分布式搭建

一：JDK的安装

      1.解压jdk的tar.gz包到指定目录(eg：/opt)

      2.编辑/etc/profile配置文件 配置jdk环境变量

            # java

              export JAVA_HOME=/opt/jdk1.7.0_79

              export JRE_HOME=$JAVA_HOME/jre

              export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

              export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

      3.配置文件生效  

           source /etc/profile

      4.测试是否安装成功

           java -version

二：用户和用户组

      1.创建用户组

           groupadd hadoop

      2.创建用户 并指定组

           useradd hduser -g hadoop

      3.设置密码

           passwd hduser

      4.为hduser用户设置权限

           vi /etc/sudoers

           root    ALL=(ALL)       ALL

           hduser  ALL=(ALL)       ALL

           si      ALL=(ALL)       ALL

           (注意：之后的操作不要再使用root用户进行，如果操作时提示权限不足，加上sudo重新执行)

      5.重启系统

           [sudo] reboot

三：配置hadoop

      （注意：如果启动HDFS的时候，只有主节点启动，从节点没有启动，导致出现此种情况的一般问题都是namenode格式化出现问题 导致namenode和datanode版本号不一致。解决方式两种，第一种方式：找到版本号所在文件 修改两次版本号一致；

第二种方式：配置hadoop这一步重新进行 将原有的配置文件拷出，删除hadoop，重新解压配置）

      1.下载(解压)hadoop-2.6.0.tar.gz到/home/hduser下面

           tar -zxvf hadoop-2.6.0.tar.gz -C /home/hduser

      2.修改hadoop文件夹名称

           mv  hadoop-2.6.0 hadoop

      3.配置hadoop环境变量

           #hadoop

           export HADOOP_HOME=/home/hduser/hadoop   

           export PATH=$HADOOP_HOME/bin:$PATH

      4.生效配置文件

           source /etc/profile

      5.hadoop具体运行配置

           5.1：配置 hadoop-env.sh文件-->修改JAVA_HOME

（配置hadoop运行的JDK环境 env=environment）

                      gedit hadoop-env.sh

                      添加如下内容

                      # The java implementation to use.

                      export JAVA_HOME=/opt/jdk1.7.0_79

           5.2：配置 yarn-env.sh 文件-->>修改JAVA_HOME

（配置yarn运行的JDK环境）

                      添加如下内容

                      # some Java parameters

                      export JAVA_HOME=/opt/jdk1.7.0_79

           5.3：配置slaves文件-->>增加slave节点

（配置hadoop集群运行的从节点）

                      vi slaves

                      删除原来的localhost，添加如下内容