liuhong的专栏

我也要用

自定义博客皮肤

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

原那点总结

一直想为上次的事情总结点什么，一直觉得自己有很多的经验教训是可以总结的，但是总是替自己找借口，今天晚上终于下定决心写几条： 1、找合伙人很难，要找对的合伙人就难上加难，即时是的你的同学，朋友，即时看上去他的加入让团队看上去是多么地完美，记住也得磨合观察，而不要立即就认为是合适的。因为也可能是最...

2015-06-25 23:12:54

阅读数 654

评论数 0

原读李彦宏《硅谷商战》有感

1、技术领先不能保证就是赢家； 2、当人们还没明白一个搜索按钮嵌入浏览器的价值的时候，yahoo已经向网景许诺优厚条件，让其在浏览器内嵌入yahoo的搜索按钮。 3、目前国内几个大型互联网公司（百度，腾讯，360等）打架打得不可开交，其实早在90年代，美国大型it公司早已玩透了这样的游戏，微软与太...

2013-12-21 23:15:55

阅读数 2883

评论数 0

原我眼中的hadop（5-7）

术业有专攻 5.1.HDFS成也大文件 Hadoop主要处理的是大文件，从而HDFS设计的初衷也是存储大文件，及其计算过程中产生的中间文件，以满足mapreduce快速地读写文件的要求，当然前提是机房网络速度给力。为了满足需求，HDFS进行了如下设计： 1.流式写文件，对于...

2013-11-25 15:51:34

阅读数 1976

评论数 0

原我眼中的hadoop(1-4)

前言 1-3写到了hadoop的诞生，通过何种方式发展壮大，及其为什么没有被其他系统取代，之所以写这部分想梳理一下hadoop为什么不是别人而是由DC来完成，同时DC通过何种方式将自己的产品发展壮大，最后变得不可取代； 4写到了hadoop在国内的发展； 5-6写到为什么没有...

2013-11-25 15:47:31

阅读数 1264

评论数 0

原 Hadoop2.x:HDFS存储小文件问题及其解决方法

HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316. DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立...

2013-11-14 15:04:12

阅读数 4429

评论数 0

原分布式存储系统（GlusterFS，Swift，Cassandra）设计对比

几年下来，前前后后接触过几个存储系统了，感觉接触多了，发现不同系统在设计的时候大都采用相似的理论，因此就梳理下。 GlusterFS Swift Cassandra 路由算法普通哈希算法一致性哈希算法一致性哈希算法数据恢复方式选...

2013-10-17 13:13:10

阅读数 6016

评论数 3

原 hadoop2之HDFS分析：Client与DataNode流程分析

Client与DataNode流程分析 1.写文件流程 1） Client执行create方法，调用NameNode的create方法，同时在Client端启动datastream线程； 2） Client调用write方法，write不断地写入字节，写入字节的时候，以chun...

2013-07-28 09:53:16

阅读数 1831

评论数 0

原 linux操作系统缓存(cache)效果测试

测试文件大小：4.5GB；第一次将该文件传输到另外一台机器： Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sd...

2013-05-21 18:22:40

阅读数 1181

评论数 0

原数组，transferFrom，ByteBuffer数据传输对比

package cache; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import j...

2013-05-21 10:46:53

阅读数 1224

评论数 0

原 HDFS之Bookkeeper工作原理分析

1.前言 1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年...

2013-05-18 22:43:43

阅读数 3983

评论数 0

原 HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言 1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年...

2013-05-03 17:47:54

阅读数 2135

评论数 1

原 HDFS2.X:系统时间戳机制在块报告中的应用

在数据块报告过程中，如果遇到报告的块的时间戳大于从节点NameNode的时间戳，会将这样的数据块放入一个消息队列，等从节点消化到相关的块信息，再从消息队列中取出数据块，建立块信息与副本的映射关系。这样，报告的块是放入消息队列呢还是直接建立映射，就取决于时间戳的判断了。这个机制具体是如何实现的呢？下...

2013-01-13 23:37:42

阅读数 910

评论数 0

原 HDFS应用场景分析

原文来自云台博客：http://yuntai.1kapp.com/?p=954 虽然说之前也对HDFS的应用场景有个大致的认识，但是总感觉不是十分彻底，因此前几天花了点时间进行了整理，现在把它贴出来。 1.概况 1） HDFS不适合大量小文件的存储，因Nam...

2013-01-03 23:03:16

阅读数 6556

评论数 0

原 HDFS2.X源码分析之：NameNode写文件原理

原文出自云台博客：http://yuntai.1kapp.com/?p=950 HDFS被设计成写一次，读多次的应用场景，这应该跟它的MapReduce机制是紧密关联的，通过对线上的读写比例监控，大概读写比是10:1，也验证了它设计的目标。 GFS论文提到的写入文件简单流程： ...

2013-01-03 22:33:37

阅读数 2283

评论数 0

原 HDFS2.X源码分析之：NameNode读文件原理

原文出自云台博客：http://yuntai.1kapp.com/?p=952 HDFS被设计成写一次，读多次的应用场景，这应该跟它的MapReduce机制是紧密关联的，通过对线上的读写比例监控，大概读写比是10:1，也验证了它设计的目标。 3.1 读流程分析 GFS论文提到的文件读取简单流...

2013-01-03 22:21:04

阅读数 1437

评论数 0

原 HDFS2.X源码分析之：NameNode块报告处理

原文出自云台博客：http://yuntai.1kapp.com/?p=941 NameNode会接收两种情况的块报告，DataNode全部块报告与增量块报告。 4.1全量报告分析目前全量报告以周期性进行报告，既然已经有启动时候的全量数据块报告，错误块报告，增量块...

2013-01-03 11:17:13

阅读数 2158

评论数 0

原 HDFS2.X源码分析之：NameNode对几种块的处理方式

原文出自云台博客：http://yuntai.1kapp.com/?p=935 在NameNode接受数据块报告的过程中，会检查块的副本中是否有无效块，坏块，无效块，和块的副本数不够问题，由于这部分涉及到NameNode对块管理的核心机制，在这里独立出来进行分析。无效块...

2013-01-03 10:57:14

阅读数 853

评论数 0

原 hadoop2.X之HDFS集群管理：ReplicationMonitor

原文出自云台博客：http://yuntai.1kapp.com/?p=930 ReplicationMonitor在HDFS中的工作相当重要，首先不仅会负责为副本不足的数据块选择source 数据节点，选择冗余的target节点，等待DN节点下次心跳将这些工作带回给相应的DN执...

2013-01-03 10:45:57

阅读数 1668

评论数 2

原 HDFS:不同版本评比分析

1、版本功能对比版本名称版本时间功能名称说明 0.20.x 2009.4.22-2011.10.17 目前线上基本功能 Avatarnode,cloudera3均以该版本作为基础版本 ...

2012-12-22 10:08:04

阅读数 1831

评论数 0

原 GlusterFS ：Addbrick工作流程分析

1、工作流程分析步骤说明： 1、 Cli接收到用户的输入后，对命令进行解析，判断命令是否合法（命令格式，字符拼写等检查），然后RPC调用本机的glusterd程序的远程函数，glusterd程序开始解析addbrick的命令行，判断里面的hostname所对应机器是否存在；pe...

2012-12-22 10:01:52

阅读数 2219

评论数 2

提示

确定要删除当前文章？

取消删除