HDFS
HDFS
yaoshengting
这个作者很懒,什么都没留下…
展开
-
Hadoop文件系统
Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中一个文件系统的客户端接口,并且该抽象类有几个具体实现,其中和Hadoop紧密相关的见下表。 文件系统 URI方案 Java实现(都在org.apache.hadoop包中) 描述 Local ...原创 2019-11-17 14:06:09 · 461 阅读 · 0 评论 -
HDFS文件写入时数据流
客户端及与之交互的HDFS、namenode和datanode之间的数据流 HDFS文件写入 1.客户端通过对DistributedFileSystem对象调用create()函数来新建文件。 2.DistributedFileSystem对namenode创建一个RPC调用,在文件系统的命名空间中新建一个文件,此时该文件中还没有相应的数据块。namenode执行各种不同的检查以确保这个...原创 2019-11-17 12:42:25 · 509 阅读 · 0 评论 -
HDFS文件读取时数据流
客户端及与之交互的HDFS、namenode和datanode之间的数据流 HDFS文件读取 1.客户端调用FileSyste对象的open()方法在分布式文件系统中打开要读取的文件,对于HDFS来说,这个对象是DistributedFileSystem的一个实例 2.DistributedFileSystem通过使用远程过程调用(RPC)来调用namenode,确定文件起始块的位置。对...原创 2019-11-17 12:13:08 · 560 阅读 · 0 评论