- 博客(3)
- 收藏
- 关注
RSS订阅
原创 我眼中的hadoop（5-7）
术业有专攻 5.1.HDFS成也大文件 Hadoop主要处理的是大文件，从而HDFS设计的初衷也是存储大文件，及其计算过程中产生的中间文件，以满足mapreduce快速地读写文件的要求，当然前提是机房网络速度给力。为了满足需求，HDFS进行了如下设计： 1.流式写文件，对于上传任何一个文件，Client向一台DN写数据块，再由DN向其他DN写数据块，而不是一个客户端
2013-11-25 15:51:34
2140
原创 我眼中的hadoop(1-4)
前言 1-3写到了hadoop的诞生，通过何种方式发展壮大，及其为什么没有被其他系统取代，之所以写这部分想梳理一下hadoop为什么不是别人而是由DC来完成，同时DC通过何种方式将自己的产品发展壮大，最后变得不可取代； 4写到了hadoop在国内的发展； 5-6写到为什么没有一个可以解决所有问题的存储系统，及其HDFS的优点缺点，希望通过这部分梳理清楚在任何行业都没有
2013-11-25 15:47:31
1432
原创 Hadoop2.x:HDFS存储小文件问题及其解决方法
HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316. DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立即向NM报告,这属于增量报告;全量报告周期性发生,定时将当前DN上所有数据块信息报告给NM.NM处理
2013-11-14 15:04:12
4931
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人