![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 81
qq_26369213
这个作者很懒,什么都没留下…
展开
-
hdfs简单介绍
1. HDFS前言 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 重点概念:文件切块,副本存放,元数据 2. HDFS的概念和特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目原创 2017-12-22 23:11:51 · 301 阅读 · 0 评论 -
HDFS客户端上传文件流程
HDFS读文件流程(上传文件) 1 客户端与nameNode通讯 1.1 客户端像nameNode发送上传文件请求。 1.2 nameNode返回响应,允许客户端上传文件。 1.3 客户端根据配置(dfs.blocksize - 块大少、hadoop 2.x 默认为128M)将文件切成N个block。 1.4 客户端向nameNode发出RPC请求上传第一个block,原创 2017-12-24 17:37:16 · 5243 阅读 · 0 评论 -
通过源码了解hdfs客户端写文件流程
之前梳理了一下hdfs客户端的简单流程,但为了跟深刻的了解,所以尝试通过源码了解一次。先准备demo代码,将断点打在fs.copyFromLocalFile()。public class HdfsClientDemo { FileSystem fs = null; Configuration conf = null; @Before public void init() throws Ex...原创 2018-01-01 19:06:19 · 766 阅读 · 0 评论