两个月玩转大数据之HDFS

我也来标题党凑个热闹，博主冬学期有一门大数据基础的课程。课程主要是由华为公司培训中心的讲师来上，课程32个课时，分为八周，一周4课时。博主的课程主要是理论加上实践。理论知识华为的讲师讲的还是十分的快的，会注重部分细节的讲解。实践部分还没开始上。博主想通过上课加自主学习，看看两个月是不是能够玩转大数据（基础）。嘿嘿，如果没能玩转就改title哈哈。

本来是想先详细系统的讲解一下大数据的整个框架，但是博主把笔记落在寝室了，没有带来实验室。之后会再补上，先讲一讲HDFS是怎么一回事。

什么是HDFS？

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS是Hadoop的核心模块之一，它在大数据框架中的功能定位是存储。

摘录Apache 组织关于HDFS的介绍：

“The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are significant. HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. HDFS provides high throughput access to application data and is suitable for applications that have large data sets. HDFS relaxes a few POSIX requirements to enable streaming access to file system data. HDFS was originally built as infrastructure for the Apache Nutch web search engine project. ”

HDFS的特点

HDFS有很多特点：

① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。

② 运行在廉价的机器上。

③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。

如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。

NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；

SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。

DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。

热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。

冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。

fsimage:元数据镜像文件（文件系统的目录树。）

edits：元数据的操作日志（针对文件系统做的修改操作记录）

namenode内存中存储的是=fsimage+edits。

SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。减少namenode的工作量。

（工作原理待我笔记本归来时，详细补充）
（想为了女神把博客转到博客园…思考中）