![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习
明天会更好吗
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce 与关系型数据库的区别
在比较两者的区别之前,首先应该清楚,两者的应用场景不同,在工业工程中两者是互相补充的角色。为什么关系型数据库不能通过增加磁盘的方式来扩充分析能力,而hadoop却需要这么做呢?原因在于,关系型数据库主要应用于大量细粒化读写和更新数据的场景,而hadoop则主要用于批量读写(一次写入多次读取)的场景。对不连续的细粒度数据读写的性能主要取决于磁盘的寻道时间,连续大规模读写数据则取决于磁盘传输时间,...原创 2018-10-22 14:16:01 · 3441 阅读 · 0 评论 -
“Hadoop”的由来
“Hadoop”并不是一串英文单词的首字母缩写,它是认为编造出来的。Hadoop 项目负责人 Doung Cutting 曾这样描述过这个名字:“这是我的孩子给他的黄色毛绒小象玩具起得名字。简短易于读写,没有具体意义且没有被别人使用过,这就是我对于项目命名的原则。孩子们更加擅长去做这样的事,googol这个名字就是孩子们想出来的。”...原创 2018-10-22 18:18:41 · 3172 阅读 · 0 评论 -
HDFS概念之Block Caching
通常情况下,datanode都是从磁盘上读取block。但是对于经常访问的文件,将其显式得存储在datanode的内存中显然可以提高效率。这块内存逻辑上就叫做堆外块缓存区(堆外/块/缓存区)。一个block在默认情况下只在一个datanode上进行缓存,当然你也可以对不同的文件配置不同的缓存节点数。作业调度器会将任务调度到有缓存的节点上,这样就可以极大地提高读取效率。举个栗子,在进行joi...原创 2018-11-03 09:10:34 · 301 阅读 · 0 评论 -
HDFS 概念之 block 详解
一般情况下,任何磁盘都有‘最小读写单位’的概念,可以理解为该磁盘的‘block’。建立在该磁盘之上的文件系统也有‘block’的概念,一般为磁盘‘block’大小的整数倍。对于用户来说,这些读写限制都是透明的。(即,用户感觉自己可以读写任意大小的文件。)然而有些应用则是运行在文件系统block层级的,可以感知到block的存在,比如 df 和 fsck。HDFS 作为一种文件系统,当然也需要有...原创 2018-11-02 16:04:08 · 7858 阅读 · 0 评论 -
HDFS 读取流程详解
数据流示意图 上图描述了HDFS客户端程序在读取文件时的各个主要事件的流程。 第一步:客户端程序(client)通过调用FileSystem对象的open()方法来打开需要读取的文件,在HDFS中FileSystem是DistributedFileSystem类的一个实例。 第二步:DistributedFileSystem 使用RPC调用namenode的相关接口,来获取要读取的...原创 2018-11-16 20:44:32 · 738 阅读 · 0 评论 -
Hadoop网络拓扑的距离计算方法
在Hadoop集群中两个节点之间的距离是如何定义的呢?如何判断两个节点是否“邻近”?当需要处理海量数据时,节点之间的数据传输能力就成为了最明显的限制因素——带宽是一种非常稀缺的资源。因此,使用两个节点之间的带宽作为他们之间距离的度量应该是一个非常棒的思路。但是,想要度量出两个节点之间真实的带宽却非常难以实现。因为这需要集群中所有节点都直接相连,节点之间的网线连接数量将是节点数量的平方。因此,H...原创 2018-11-17 11:05:34 · 1433 阅读 · 2 评论