linux下搭建hadoop伪分布式

1、准备一台虚拟机，可参考我前面的博客，克隆虚拟机-克隆虚拟机_一杯咖啡半杯糖的博客-CSDN博客

2、需要准备hadoop的tar包和java安装包，解压到如下路径下

3、解压tar包到指定的路径下  

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/   

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 

4、配置linux全局变量

（1）切换到root权限  su root 

（2）vim  /etc/profile 

（3）在文件的末尾添加如下配置 ,注意压缩包的路径要与配置的路径一致

##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin  

5、使配置文件生效   source /etc/profile 

6、检验下是否生效  在命令行输入java  看是否有一系列的提示    命令行输入hadoop看是否有一系列的提示，如果有，证明配置文件设置生效 

7、配置集群配置文件(hadoop的所有配置文件都在   解压的hadoop目录下的   ./etc/hadoop下)

（1）、配置 hadoop-env.sh  

         linux系统获取jdk安装路径：

        [shan@hadoop105 hadoop-2.7.2]$ echo $JAVA_HOME

        /opt/jdk1.8.0_144

        修改 hadoop-env.sh  文件中的jdk路径为上面echo输出的路径

export JAVA_HOME=/opt/jdk1.8.0_144

  （2）、配置 core-site.xml  配置如下  注意   配置中的hadoop105为当前虚拟机主机名称，可用ip替代

<configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop105:9000</value>
        </property>

        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
</configuration>

（3）、配置hdfs-site.xml   配置如下

<configuration>
<!-- 指定HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

8、接下来启动hadoop集群 

（1）、格式化 namenode（第一次启动hadoop集群时需要格式化，后面启动集群不需要格式化）

在hadoop主目录（解压后的hadoop目录）下输入如下命令

[shan@hadoop105 hadoop]$ bin/hdfs namenode -format

（2）、启动namenode  在hadoop主目录下输入

[shan@hadoop105 hadoop]$ sbin/hadoop-daemon.sh start namenode

（3）、启动datanode   在hadoop主目录下输入

[shan@hadoop105 hadoop]$ sbin/hadoop-daemon.sh start datanode

9、确认下是否启动成功

在linux命令行中输入    jps  -l    出现如下命令hadoop即启动成功   

[shan@hadoop105 hadoop]$ jps -l
6786 org.apache.hadoop.hdfs.server.namenode.NameNode
6953 sun.tools.jps.Jps
4317 org.apache.hadoop.hdfs.server.datanode.DataNode
[shan@hadoop105 hadoop]$ 

如果失败，则去 hadoop 的  logs 目录   查找namenode或datanode的log日志， 分析具体的原因 

  10，windows下打开 http://hadoop105:50070/explorer.html#/  这个网址查看HDFS文件系统   注意配置hosts  让hadoop105匹配linux的ip   此外需要关闭 linux和windows的防火墙，至此，hadoop伪分布式搭建完毕。