HDFS
江陵之月
本人是一个具有文艺范的程序员,是大数据工程师,家在成都,到一线城市打拼过,现在回到家乡发展,希望在CSDN遇到志同道合的人
展开
-
大话HDFS.HDFS的架构(说话很通俗哦,兄弟们可以看看)
HDFS是怎么回事?HDFS的来源HDFS的架构 HDFS的来源 有人在网上说分布式文件系统,对的,这个基本的理解还是对的。但是HDFS的英文是Hadoop Distributed FileSystem,也就是Hadoop专用的分布式文件系统。这个就真的那么原创的分布式文件系统吗?不是啊,其实它学习开源Google的GFS的。 HDFS的架构 其实分布式的架构,有很多都是主从架构,这个HDFS也不例外。其中的主节点叫什么呢?NameNode,相当于就是这个HDFS集群的领导,这个集群的部门领导究竟管理什么原创 2020-12-25 11:08:27 · 148 阅读 · 0 评论 -
HDFS的基础知识.原理篇(二)
机柜意识 机柜意识 别称:机架感知、Rack awareness 含义:数据块会优先储存在离NameNode近的机器或者说成离NameNode机架近的机器上 特点:1)如果一个机架出问题,不会影响数据读写 2)写入数据的时候会写到不同机架的DataNode中 3)MapReduce会根据机架获取离自己比较近的网络数据 4)一个NameNode尽量将一个块的多个副本放在多个安装点(即机柜)上以提高容错能力。每个节点都知道它的机柜ID 5)HDFS允许管理员决定一个节点属于哪个安装点 作用:1)可以带来性能和安原创 2020-12-07 09:30:09 · 285 阅读 · 0 评论 -
HDFS的基础知识.原理篇(1)
HDFS的原理 原理:分布式的文件存储系统,将一个大的文件,分割成多个小的文件,进行存储在多台服务器上 HDFS的读写机制 HDFS文件写入过程 原理:1)Client向NameNode发起文件写入的请求 2)NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息 3)Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中 步骤:1)客户端通过对DistributedFileSystem对象调用create函原创 2020-12-07 09:27:32 · 160 阅读 · 0 评论