![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
文章平均质量分 70
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
Hadoop源码学习-运行实例
Hadoop源码学习,以运行实例开始原创 2016-12-12 15:44:49 · 2304 阅读 · 0 评论 -
Hadoop源码学习-以创建目录为例
在终端输入命令hadoop fs -mkdir dir时,最后是转换成运行JAVA程序,执行类FsShell,并传递相应的参数。在类FsShell里的执行过程类FsShell是使用命令hadoop fs时执行的类,它的功能就是:运行一个通用文件系统客户端,能够对文件系统进行相关操作。原创 2016-12-13 13:58:33 · 2296 阅读 · 0 评论 -
HDFS的架构
Hadoop Distributed File System(HDFS)是一个分布式的文件系统,它可以运行在普通硬件之上。它与其他的分布式文件系统有许多相似之处,然而,它与其他的分布式文件系统的区别也很明显。HDFS的容错能力极强,最初的设计是可将其部署在廉价的硬件之上。HDFS对应用数据提供了高吞吐量的访问,适合那些具有大量数据集的应用。翻译 2016-12-15 11:12:55 · 3071 阅读 · 0 评论 -
Flume 1.7.0安装与实例
Flume 1.7.0安装与实例原创 2016-11-03 19:48:10 · 19277 阅读 · 0 评论 -
使用flume将avro文件上传到hdfs上
使用flume将avro文件上传到hdfs上场景介绍:把一个文件夹下的avro文件上传到hdfs上。source使用的是spooldir,sink使用的是hdfs。原创 2017-01-13 11:28:03 · 3709 阅读 · 0 评论 -
HDFS高可用 -Quorum Journal Manager
High Availibility 高可用要实现Hadoop的高可用,有两种方式: - Quorum Journal Manager - Network File SystemUsing Quorum Journal Manager对于这种方式,根据对官方文档的理解,我画了个图,如下: 图上表述了一个集群大概的样子,有3个DataNode, 有两个NameNode,一个是Active原创 2017-04-05 21:18:46 · 1225 阅读 · 0 评论