HDFS分布式文件系统单机版搭建

前言

 本文是搭建推荐系统的第二课：HDFS单机版搭建。因为如果搭建集群模式下的hdfs和yarn则占用资源较多，会影响到自己电脑的性能。

单机版HDFS搭建

目录

• 准备工作

• 下载安装hdfs

• 配置hafs

• 启动NameNode

• 启动secondary namenode

• 效果展示

准备工作

• 首先要搭建好sprk集群，参考文章：spark集群搭建

• 在Linux服务器上安装好jdk环境

下载安装hdfs

下载地址如下：

http://mirror.bit.edu.cn/apache/hadoop/common/

  将安装包存放到172.17.32.105 指定目录下，并且解压。比如我存放的目录是：/home/lg/software下，执行如下的命令进行解压

tar -zxvf hadoop-2.6.5.tar.gz -C  /home/lg/software

配置hdfs

 hdfs安装完毕以后，我们需要进行相关的配置 

   1. 进入到hdfs安装目录

cd /home/lg/software/hadoop-2.6.5/etc/hadoop

 2. 修改 hadoop-env.sh

vim hadoop-env.sh

 配置jdk的路径

export JAVA_HOME=/data/java/jdk1.7.0_15

 3. 修改core-site.xml文件

vi core-site.xml

 增加以下的内容

configuration>
      <property>
               <name>fs.defaultFS</name>
               <value>hdfs://hadoop1:9000</value>  
    </property>
      <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-2.5</value>
      </property>
</configuration>

 4. 修改hdfs-site.xml  

vi hdfs-site.xml

 增加以下的内容

<configuration>
                 <property>
                     <name>dfs.namenode.http-address</name>
                     <value>hadoop1:50070</value>
                 </property>
                 <property>
                     <name>dfs.namenode.secondary.https-address</name>
                     <value>hadoop1:50090</value>
                  </property>
</configuration>

 5. 修改slaves

vi slaves

 增加以下的内容

hadoop1
hadoop2
hadoop3

 6. 修改masters(masters本来在配置文件中是没有的)

vi masters

 增加以下的内容

hadoop1

 7. 修改bash_profile

vi ~/.bash_profile

 增加以下的内容

export HADOOP_HOME=/home/lg/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 8. 修改/etc/profile

vi /etc/profile

 增加以下的内容

export HADOOP_HOME=/home/lg/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 使用以下命令使/etc/profile生效

source /etc/profile

启动NameNode

 一般来说,使用如下的方式来启动NameNode：

start-dfs.sh 

 一般来说,使用如下的方式来启动secondarynamenode：

./hadoop-daemon.sh start secondarynamenode

效果展示

1.浏览器中输入,可以看到下面的界面,对应于NameNode的启动 

http://172.17.32.105:50070

2.浏览器中输入如下地址,可以看到下面的界面,对应于secondarynamenode的启动

http://172.17.32.105:50090

 

感谢&总结

 本文主要分享了如何搭建单机版的hdfs。"日拱一卒无有尽 功不唐捐终入海",每天进步一点点，量变引起质变，最后，我们还是可以取得长足的进步的，共勉。