hadoop搭建伪分布模式详细步骤

hadoop集群搭建的三种模式

1. Local (Standalone) Mode：本地模式 [Hadoop被配置为作为单个Java进程以非分布式模式运行。主要用于debug]

2. Pseudo-Distributed Mode：伪分布模式 [Hadoop伪分布模式运行在单节点上，每个hadoop守护进程占用单独的java进程]

3. Fully-Distributed Mode：完全分布式模式

搭建伪分布模式

搭载环境

CentOS 6.8 + hadoop 2.7.3 + JDK1.8
在自建用户下进行搭建，本次实例用户：dragon
安装目录在：/home/dragon/soft 自建的soft目录下

具体步骤

1. 安装jdk
   1. 下载jdk安装包 jdk-8u121-linux-x64.tar.gz
   2. 将jdk安装包复制到 ~/soft/
      命令语句：cp jdk-8u121-linux-x64.tar.gz ~/soft/
   3. 对安装包解压缩
      命令语句：tar -zxvf ~/soft/jdk-8u121-linux-x64.tar.gz
   4. 建立jdk1.8.0_121的软连接
      命令语句： ln -s jdk1.8.0_121/ jdk
   5. 修改 ~/.bash_profile文件
      命令语句：vi ~/.bash_profile
      追加下列语句：

      #java
      export JAVA_HOME=/home/dragon/soft/jdk
      export PATH=$JAVA_HOME/bin:$PATH
      

   6. 重新执行刚修改的文件【不能忘记！！】
      命令语句：source ~/.bash_profile
   7. 查看是否成功，输出jdk路径
      命令语句：echo $JAVA_HOME
2. 安装hadoop
   1. 下载hadoop稳定的安装包hadoop-2.7.3.tar.gz
   2. 将hadoop安装包复制到 ~/soft/
      命令语句：cp hadoop-2.7.3.tar.gz ~/soft/
   3. 对安装包解压缩
      命令语句：tar -zxvf ~/soft/hadoop-2.7.3.tar.gz
   4. 建立hadoop-2.7.3的软连接
      命令语句： ln -s jdk1.8.0_121/ hadoop
   5. 修改 ~/.bash_profile文件
      命令语句：vi ~/.bash_profile
      追加下列语句：

      #hadoop
      export HADOOP_HOME=/home/dragon/soft/hadoop
      export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
      

   6. 重新执行刚修改的文件【不能忘记！！】
      命令语句：source ~/.bash_profile
   7. 查看是否成功，输出hadoop路径
      命令语句：echo $HADOOP_HOME
3. 修改配置文件core-site.xml和hdfs-site.xml

   1. 修改$HADOOP_HOME/etc/hadoop文件夹下的core-site.xml
      命令语句：cd $HADOOP_HOME/etc/hadoop
     vi core-site.xml
      在<configuration>标签下添加以下属性：

      <property>
      			<name>fs.defaultFS</name>
      			<value>hdfs://localhost:9000</value>
      </property>
      

   2. 修改$HADOOP_HOME/etc/hadoop文件夹下的hdfs-site.xml
      命令语句：cd $HADOOP_HOME/etc/hadoop
     vi hdfs-site.xml
      在<configuration>标签下添加以下属性：

      <property>
      			<name>dfs.replication</name>
      			<value>1</value>
      </property>
      

4. 设置无密登陆【此步骤可以省略，但建议不省略】
   1. 生成密钥
      命令语句：ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
      说明：【-t 指定生成秘钥算法,采用为rsa; -P指定密码,此处设置为空; -f指定秘钥写入的文件】
      
   2. 生成公钥授权库
      命令语句：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   3. 修改公钥授权库
      命令语句：chmod 0600 ~/.ssh/authorized_keys
   4. 登陆测试
      命令语句：ssh localhost
5. hadoop配置JAVA_HOME路径
   命令语句：cd $HADOOP_HOME/etc/hadoop
     vi hadoop-env.sh
   修改：
      JAVA_HOME=/home/dragon/soft/jdk
6. 格式化文件系统【作用：创建fsimage镜像文件】
   命令语句： hdfs namenode -format
7. 开启hadoop的HDFS
   命令语句：start-dfs.sh
   开启后显示java进程的pid指令： jps
8. 测试
   打开浏览器：http://master:50070