自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

那点总结

一直想为上次的事情总结点什么,一直觉得自己有很多的经验教训是可以总结的,但是总是替自己找借口,今天晚上终于下定决心写几条: 1、  找合伙人很难,要找对的合伙人就难上加难,即时是的你的同学,朋友,即时看上去他的加入让团队看上去是多么地完美,记住也得磨合观察,而不要立即就认为是合适的。因为也可能是最...

2015-06-25 23:12:54

阅读数 654

评论数 0

读李彦宏《硅谷商战》有感

1、技术领先不能保证就是赢家; 2、当人们还没明白一个搜索按钮嵌入浏览器的价值的时候,yahoo已经向网景许诺优厚条件,让其在浏览器内嵌入yahoo的搜索按钮。 3、目前国内几个大型互联网公司(百度,腾讯,360等)打架打得不可开交,其实早在90年代,美国大型it公司早已玩透了这样的游戏,微软与太...

2013-12-21 23:15:55

阅读数 2883

评论数 0

我眼中的hadop(5-7)

术业有专攻 5.1.HDFS成也大文件            Hadoop主要处理的是大文件,从而HDFS设计的初衷也是存储大文件,及其计算过程中产生的中间文件,以满足mapreduce快速地读写文件的要求,当然前提是机房网络速度给力。为了满足需求,HDFS进行了如下设计: 1.流式写文件,对于...

2013-11-25 15:51:34

阅读数 1976

评论数 0

我眼中的hadoop(1-4)

前言      1-3写到了hadoop的诞生,通过何种方式发展壮大,及其为什么没有被其他系统取代,之所以写这部分想梳理一下hadoop为什么不是别人而是由DC来完成,同时DC通过何种方式将自己的产品发展壮大,最后变得不可取代;      4写到了hadoop在国内的发展; 5-6写到为什么没有...

2013-11-25 15:47:31

阅读数 1264

评论数 0

Hadoop2.x:HDFS存储小文件问题及其解决方法

HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316. DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立...

2013-11-14 15:04:12

阅读数 4429

评论数 0

分布式存储系统(GlusterFS,Swift,Cassandra)设计对比

几年下来,前前后后接触过几个存储系统了,感觉接触多了,发现不同系统在设计的时候大都采用相似的理论,因此就梳理下。     GlusterFS Swift Cassandra 路由算法 普通哈希算法 一致性哈希算法 一致性哈希算法 数据恢复方式 选...

2013-10-17 13:13:10

阅读数 6016

评论数 3

hadoop2之HDFS分析:Client与DataNode流程分析

Client与DataNode流程分析 1.写文件流程   1)  Client执行create方法,调用NameNode的create方法,同时在Client端启动datastream线程; 2)  Client调用write方法,write不断地写入字节,写入字节的时候,以chun...

2013-07-28 09:53:16

阅读数 1831

评论数 0

linux操作系统缓存(cache)效果测试

测试文件大小:4.5GB; 第一次将该文件传输到另外一台机器: Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util sd...

2013-05-21 18:22:40

阅读数 1181

评论数 0

数组,transferFrom,ByteBuffer数据传输对比

package cache; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import j...

2013-05-21 10:46:53

阅读数 1224

评论数 0

HDFS之Bookkeeper工作原理分析

1.前言 1.1背景     自从hadoop2版本开始,社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步,大家之所以选择NFS,一方面因为可以很方便地实现数据共享,另外一方面因为NFS已经发展20多年...

2013-05-18 22:43:43

阅读数 3983

评论数 0

HDFS之Qurom Journal Manager(QJM)实现机制分析

1.前言 1.1背景     自从hadoop2版本开始,社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步,大家之所以选择NFS,一方面因为可以很方便地实现数据共享,另外一方面因为NFS已经发展20多年...

2013-05-03 17:47:54

阅读数 2135

评论数 1

HDFS2.X:系统时间戳机制在块报告中的应用

在数据块报告过程中,如果遇到报告的块的时间戳大于从节点NameNode的时间戳,会将这样的数据块放入一个消息队列,等从节点消化到相关的块信息,再从消息队列中取出数据块,建立块信息与副本的映射关系。这样,报告的块是放入消息队列呢还是直接建立映射,就取决于时间戳的判断了。这个机制具体是如何实现的呢?下...

2013-01-13 23:37:42

阅读数 910

评论数 0

HDFS应用场景分析

原文来自云台博客:http://yuntai.1kapp.com/?p=954         虽然说之前也对HDFS的应用场景有个大致的认识,但是总感觉不是十分彻底,因此前几天花了点时间进行了整理,现在把它贴出来。       1.概况 1) HDFS不适合大量小文件的存储,因Nam...

2013-01-03 23:03:16

阅读数 6556

评论数 0

HDFS2.X源码分析之:NameNode写文件原理

原文出自云台博客:http://yuntai.1kapp.com/?p=950       HDFS被设计成写一次,读多次的应用场景,这应该跟它的MapReduce机制是紧密关联的,通过对线上的读写比例监控,大概读写比是10:1,也验证了它设计的目标。  GFS论文提到的写入文件简单流程: ...

2013-01-03 22:33:37

阅读数 2283

评论数 0

HDFS2.X源码分析之:NameNode读文件原理

原文出自云台博客:http://yuntai.1kapp.com/?p=952 HDFS被设计成写一次,读多次的应用场景,这应该跟它的MapReduce机制是紧密关联的,通过对线上的读写比例监控,大概读写比是10:1,也验证了它设计的目标。 3.1 读流程分析 GFS论文提到的文件读取简单流...

2013-01-03 22:21:04

阅读数 1437

评论数 0

HDFS2.X源码分析之:NameNode块报告处理

原文出自云台博客:http://yuntai.1kapp.com/?p=941       NameNode会接收两种情况的块报告,DataNode全部块报告与增量块报告。 4.1全量报告分析        目前全量报告以周期性进行报告,既然已经有启动时候的全量数据块报告,错误块报告,增量块...

2013-01-03 11:17:13

阅读数 2158

评论数 0

HDFS2.X源码分析之:NameNode对几种块的处理方式

原文出自云台博客:http://yuntai.1kapp.com/?p=935        在NameNode接受数据块报告的过程中,会检查块的副本中是否有无效块,坏块,无效块,和块的副本数不够问题,由于这部分涉及到NameNode对块管理的核心机制,在这里独立出来进行分析。 无效块...

2013-01-03 10:57:14

阅读数 853

评论数 0

hadoop2.X之HDFS集群管理:ReplicationMonitor

原文出自云台博客:http://yuntai.1kapp.com/?p=930       ReplicationMonitor在HDFS中的工作相当重要,首先不仅会负责为副本不足的数据块选择source 数据节点,选择冗余的target节点,等待DN节点下次心跳将这些工作带回给相应的DN执...

2013-01-03 10:45:57

阅读数 1668

评论数 2

HDFS:不同版本评比分析

1、版本功能对比 版本名称 版本时间 功能名称 说明 0.20.x 2009.4.22-2011.10.17 目前线上基本功能 Avatarnode,cloudera3均以该版本作为基础版本 ...

2012-12-22 10:08:04

阅读数 1831

评论数 0

GlusterFS :Addbrick工作流程分析

1、工作流程分析 步骤说明: 1、  Cli接收到用户的输入后,对命令进行解析,判断命令是否合法(命令格式,字符拼写等检查),然后RPC调用本机的glusterd程序的远程函数,glusterd程序开始解析addbrick的命令行,判断里面的hostname所对应机器是否存在;pe...

2012-12-22 10:01:52

阅读数 2219

评论数 2

提示
确定要删除当前文章?
取消 删除