![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
andrewgb
这个作者很懒,什么都没留下…
展开
-
HADOOP之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词:HDFS文件 命令行 Java APIHDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linu原创 2015-07-01 22:48:32 · 453 阅读 · 0 评论 -
HADOOP之HDFS
摘要:HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。关键词:Hadoop HDFS 分布式存储系统HDFS是Hadoop的核心模块之一,HDFS是什么?它是Hadoop分布式文件系统(Hadoop Distributed File System),摘录Apache 组织关于HDFS的介绍“The Hadoop D原创 2015-07-01 22:52:20 · 706 阅读 · 0 评论 -
Hadoop2的automatic HA+Federation+Yarn
在这里我们选用4台机器进行示范,各台机器的职责如下表格所示 hadoop0 hadoop1 hadoop2 hadoop3 是NameNode吗? 是,属集群cluster1 是,属集群cluster1 是,属集群cluster2 是DataNode吗? 否 是 是 是JournalNode吗? 是 是 是 是ZooKeeper吗?原创 2015-09-03 18:09:11 · 453 阅读 · 0 评论 -
HDFS 维护节点
添加DataNode、卸载DataNode、以及使用fsck检查文件系统的一致性原创 2015-08-19 22:59:18 · 864 阅读 · 0 评论 -
Hadoop 之 Shuffle 和排序---再理解
其实在我的一篇博文中,已经对Shuffle有了自己的总结,但是,回过头来再看的时候,觉得又可以再深层次的理解和记忆跟细节的东西。有必要再进行一次知识的输出—不知道在哪里看到的一句话,知识的输出是更残忍的输入。内容的理解来源于《Hadoop 权威指南(第三版)》,P226 页。一 总述MapReduce 确保每个 reducer 的输入都是按键排序的。Shuffle 这一过程可以说是系统执行排序的过程原创 2016-01-26 20:30:21 · 4291 阅读 · 0 评论 -
Hadoop 之 HDFS 的数据完整性
Hadoop 用户肯定都不希望系统在存储和处理数据时不会丢失或者损坏任何数据。接下来,我们来考究一下 HDFS 在为了保证数据完整性,所做的工作。总的来说,HDFS 会对写入的数据计算校验和,并在读取数据时验证校验和。datanode 负责收到数据后存储该数据及其校验和。datanode 的数据来源可分为两种,其一为是从客户端收到的数据,其二为从其他 datanode 复制来的数据。还有一种情况,正原创 2016-02-02 23:20:05 · 2243 阅读 · 0 评论 -
Hadoop 之 数据流——客户端与HDFS,namenode和datanode 之间的数据流
1.文件读取客户端通过调用 FileSystem 对象的 open() 方法来打开想读取的文件,对于 HDFS 来说,这个对象是分布式文件系统(DistributedFileSystem)的一个实例,如上图步骤1。DistributedFileSystem 通过使用 RPC 来调用 namenode ,获取文件的存储位置,以确定文件起始块的位置,如上图步骤2。namenode 返回文件所有组成块原创 2016-01-28 23:08:29 · 3781 阅读 · 0 评论