自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 我眼中的hadoop(5-7)

术业有专攻5.1.HDFS成也大文件 Hadoop主要处理的是大文件,从而HDFS设计的初衷也是存储大文件,及其计算过程中产生的中间文件,以满足mapreduce快速地读写文件的要求,当然前提是机房网络速度给力。为了满足需求,HDFS进行了如下设计:1.流式写文件,对于上传任何一个文件,Client向一台DN写数据块,再由DN向其他DN写数据块,而不是一个客户端

2013-11-25 15:51:34 2140

原创 我眼中的hadoop(1-4)

前言     1-3写到了hadoop的诞生,通过何种方式发展壮大,及其为什么没有被其他系统取代,之所以写这部分想梳理一下hadoop为什么不是别人而是由DC来完成,同时DC通过何种方式将自己的产品发展壮大,最后变得不可取代;     4写到了hadoop在国内的发展;5-6写到为什么没有一个可以解决所有问题的存储系统,及其HDFS的优点缺点,希望通过这部分梳理清楚在任何行业都没有

2013-11-25 15:47:31 1432

原创 Hadoop2.x:HDFS存储小文件问题及其解决方法

HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316.DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立即向NM报告,这属于增量报告;全量报告周期性发生,定时将当前DN上所有数据块信息报告给NM.NM处理

2013-11-14 15:04:12 4931 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除