![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 72
Gethin_H
这个作者很懒,什么都没留下…
展开
-
HDFS基本概念及基本操作
HDFS基本概念篇 1. HDFS 前言 设计思想: 分而治之: 将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务。 重点概念: 文件切块,副本存放,元数据 2. HDFS的概念和特性 首先,它是一个文件系统,...原创 2018-03-17 12:18:24 · 655 阅读 · 0 评论 -
HDFS的Java操作
HDFS的Java操作 HDFS在生产应用中主要是客户端的开发,其核心步骤是从HDFS提供的API中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件 搭建开发环境 开发工具:IDEA 管理工具:Maven JDK:1.8 Hadoop:2.7.4 建议在Linux/Unix下进行hadoop应用的开发,不会存在兼容性问题。如在wind...原创 2018-03-19 18:31:44 · 455 阅读 · 0 评论 -
HDFS写数据流程
HDFS写数据流程 概述 客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本 步骤图 详细过程 客户端执行写入操作 DistributedFileSyste...原创 2018-03-20 13:21:55 · 1136 阅读 · 0 评论