大数据教程（7.1）客户端向HDFS写数据流程分析

2019独角兽企业重金招聘Python工程师标准>>>

           上一章为大家分享了hadoop入门的基础知识，本章博主将带领大家一起升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。

    一、本节目的

           HDFS工作机制的学习主要是为了加深大家对这个分布式文件系统的了解，以及增强遇到各种问题时的应对能力，并且让大家再学习完后能有一定的集群运维能力。

    二、概述

           1.普通的HDFS集群主要分为两大角色：NameNode（包含Secondary Namenode）、DataNode。

           2.NameNode：负责管理整个文件系统的元数据，如：文件名，文件位置，文件大小，所在主机地址等等。

           3.DataNode：负责管理用户的文件数据块(大文件上传到HDFS集群后，会被切分成块放在不同的DataNode上，对外提供统一的视图、访问)。

           4.文件会按照固定的大小（blocksize，默认为128m）切成若干块分布式存储在如干台datanode节点上。

           5.每个文件块可以有多个副本（可配置，默认大小为3个），并存放在不同的datanode上

           6.Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

           7.HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

    三、客户端向HDFS写数据流程分析

        最后寄语，以上是博主本次文章的全部内容，如果大家觉得博主的文章还不错，请点赞；如果您对博主其它服务器大数据技术或者博主本人感兴趣，请关注博主博客，并且欢迎随时跟博主沟通交流。

转载于:https://my.oschina.net/u/2371923/blog/2873230