大数据之 Hadoop HDFS（Hadoop 分布式文件系统)

引言：这里主要介绍的是 Apache Hadoop HDFS。Hadoop有很多版本，这里主要介绍的是Apache Hadoop HDFS（分布式文件系统）。

一：Apache Hadoop 概述

  Apache Hadoop软件库是一个框架，使用计算机集群分布式处理大数据，并且是开源的。

  Apache Hadoop主要包括以下这些模块：

1.Hadoop Common  一个用于支持Hadoop的公共服务模块
2.Hadoop Distributed File System  为应用程序提供高吞吐量的分布式文件系统
3.Hadoop YARN   用于进程调度和管理集群资源
4.Hadoop MapReduce  基于YARN系统，并行处理大数据集

本文主要介绍的是其中的 Hadoop Distributed File System，即Hadoop HDFS（分布式文件系统）。

二：Apache Hadoop HDFS（分布式文件系统）

1.Apache Hadoop HDFS（分布式文件系统）概述

  HDFS（分布式文件系统）用的是java语言，采用的是 master/slave体系结构。HDFS（分布式文件系统）包括了客户端，NameNode,DataNode等组成。下面对其中部分内容进行分别介绍。

2.NameNode 和 DataNode

   HDFS被设计成运行在廉价的服务器上，可以处理很大的数据集，一台服务器运行NameNade，有很多台服务器运行DataNode。

  NameNode管理文件系统命名空间，执行一些操作，像打开，关闭文件和目录等。

  一个大文件被分割成很多块，然后存储在DataNode中，客户端从NameNode读取元数据后，可以存储或读取DataNode中的数据。

  当然，这里还涉及到被分割文件的数据块备份等，还是比较复杂的。

3.HDFS文件管理

  在HDFS中，真正保存数据的是DataNode，NameNode主要保存一些文件的目录信息等。

  一个大文件被HDFS分割成很多块，然后存储到不同的DataNode中，还要进行备份，一般备份的默认值是3。文件被分割的大小一般是128MB。当然这些数据一般是可以在配置文件中配置的。

  HDFS还提供了很多命令行的命令供我们管理文件系统。

  要运行HDFS的话，需要在安装了Java的服务器上。

这是关于Apache Hadoop HDFS的一个简单介绍。先写到这里吧！

以上内容仅供参考，如有不对，请指正。

参考目录：

1.hadoop英文网址

2.hadoop中文网址

2024/02/07 21：00  首次编辑