![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
鱼思故渊
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记--NameNode和DataNode以及容错处理
概念:HDFS会把一个很大的文件分块(与传统的文件系统类似),存放在不同的DataNode上。不过这个块是个逻辑概念,比较大,默认是64M。Hadoop以“管理者-工作者”模式运行。NameNode就是管理者,它保存了文件系统中所有文件以及目录信息。也记录了每个文件的分块信息。但这些分块具体在哪些机器上存储则由DataNode自己上报。容错:NameNode的容错:所有的文原创 2015-03-09 21:14:06 · 1993 阅读 · 0 评论 -
hadoop学习笔记--hadoop读写文件过程
读取文件: 下图是HDFS读取文件的流程: 这里是详细解释: 1.当客户端开始读取一个文件时,首先客户端从NameNode取得这个文件的前几个block的DataNode信息。(步骤1,2) 2.开始调用read(),read()方法里,首先去读取第一次从NameNode取得的几个Block,当读取完成后,再去NameNode拿下一批Block的原创 2015-03-09 21:14:50 · 1659 阅读 · 0 评论 -
hadoop学习笔记--哪些场景不适合 哪些场景适合
Hadoop不是万能的,有些场景适用,有些不适用。Hadoop设计的目的主要包括下面几个方面,也就是所谓的适用场景:1:超大文件 可以是几百M,几百T这个级别的文件。2:流式数据访问 Hadoop适用于一次写入,多次读取的场景,也就是数据复制进去之后,长时间在这些数据上进行分析。3:商业硬件 也就是说大街上到处都能买到的那种硬件,这样的硬件故原创 2015-03-09 21:12:48 · 2377 阅读 · 0 评论