第1关：HDFS伪分布式配置 100

• 任务描述
• 相关知识
  • 1.1 使用tar解压命令，将已经下载好的hadoop安装包进行解压。
  • 1.2 配置环境变量
  • 1.3 修改HDFS的core-site.xml文件
  • 1.4 修改HDFS的hdfs-site.xml文件
  • 1.5 初始化集群
  • 1.6 ssh免密配置
  • 1.7 启动HDFS并简单查看

---

任务描述

本关任务：HDFS伪分布式配置

相关知识

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

1.1 使用tar解压命令，将已经下载好的hadoop安装包进行解压。

执行过程及结果：

1.进入软件包目录 root@evassh-10644553:~# cd /data/workspace/myshixun/ root@evassh-10644553:/data/workspace/myshixun#

2.查看软件包（通过LS命令可以看到jdk这个安装包） root@evassh-10644553:/data/workspace/myshixun# ls hadoop-2.8.3.tar.gz root@evassh-10644553:/data/workspace/myshixun#

3.将软件包解压到/opt目录下（tar命令是解压命令，-C参数是指定解压位置） root@evassh-10644553:/data/workspace/myshixun# tar -zxf hadoop-2.7.1.tar.gz -C /opt root@evassh-10644553:/data/workspace/myshixun#

4.查看是否解压成功 root@evassh-10644553:/data/workspace/myshixun# ls /opt hadoop-2.8.3 root@evassh-10644553:/data/workspace/myshixun# 5.将目录切换到root用户的家目录 root@evassh-10644553:/data/workspace/myshixun# cd root@evassh-10644553:~#

1.2 配置环境变量

配置环境变量的目的是为了能够在全局使用hadoop或者hdfs等相关的命令。

export Hadoop_HOME=/opt/hadoop-2.7.1
export PATH=$PATH:$Hadoop_HOME/bin:$Hadoop_HOME/sbin

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hdfs/namenode</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hdfs/datanode</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdfs://localhost:50090</value>
</property>