hadoop-hdfs 伪分布式搭建

简介

本篇文章主要介绍的是hadoop伪分布式安装hdfs.
首先要确保 jdk 配置成功了 (如果不会可以参考这篇文章http://www.haha174.top/article/details/259178) 然后下载hadoop我使用的是 hadoop-2.6.0-cdh5.7.0.tar.gz版本
使用的环境是centos7 的虚拟机 如果不会搭建虚拟机可以参考这篇文章（http://www.haha174.top/article/details/255136）

安装

1.使用 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 解压压缩包
2.进入到 etc 目录的hadoop目录下配置启动信息 cd hadoop-2.6.0-cdh5.7.0/etc/hadoop
3. 给hadoop 配置java home vi hadoop-env.sh
export JAVA_HOME=/app/java/jdk1.8.0_121(这里改成自己的jdk 目录)
4. vi core-site.xml 配置hadoop

# 默认文件系统的地址
 <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop000:8020</value>
   </property>
# hadoop  存储路径   不配置重启数据可能会消失
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/app/tmp</value>
   </property>

1. vi vi hdfs-site.xml 配置hdfs 信息

<property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>

因为是伪分布式的配置所有副本系数设置为1
6 vi slaves 配置节点 因为是伪分布式的配置 直接配置本机主机名即可

7 启动hdfs 初始化hdfs 进入到 sbin 目录下 使用命令 hdfs namenode -format
初始化完成后 使用命令 sh start-dfs.sh 启动hdfs
使用命令jps 查看 启动状态如果能看到 如下图那么恭喜你启动成功了
如果少了 可以查看相应的启动日志查看原因

文章地址：http://www.haha174.top/article/details/251072