Hadoop
文章平均质量分 92
我是鱼
我是一条来自北方的鱼
在这无垠的网络海洋中
自由的徜徉与探索
展开
-
分布式文件系统HDFS
所谓分布式,在这里,很狭义的指代以Google的三驾马车,GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。通常如我一样初学的人,会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图,已可窥见其几分风韵,但终究还是由于缺少一些实现的代码和示例,色彩有些斑驳,缺少了点感性。幸好我们还有Open Source,还有Hadoop。Had原创 2012-02-11 13:44:21 · 2007 阅读 · 0 评论 -
Hadoop HDFS分布式文件系统设计要点与架构
Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throug转载 2012-02-20 22:28:20 · 533 阅读 · 0 评论 -
HDFS写入和读取流程
一、HDFS HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。 目前HDFS支持的使用接口除了Java的还有,Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chun转载 2012-02-20 22:29:22 · 517 阅读 · 0 评论 -
分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable
分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable 谈到分布式系统,就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。 虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文。而且,Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Ha转载 2012-04-12 19:08:31 · 1108 阅读 · 0 评论 -
为什么Hadoop将一定会是分布式计算的未来?
前言: 很久没有写写博客了,之前主要是换工作,耽误了很多的时间,让人也变得懒散,不想花大时间来写东西。另外就是也确实没有什么自己都觉得有意思的东西拿来写 写,对一般的知识什么的,我比较倾向于往evernote上面记笔记。不过最近对于Hadoop看得比较多,对它的发展也比较关心,最近了解得越多,也就 越相信Hadoop的未来,这里写一篇文章与大家分享分享,为什么我相信Hadoop一定是分布转载 2012-04-12 19:32:31 · 672 阅读 · 0 评论 -
HBase 在淘宝的应用和优化
前言 hbase是从 hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术的发展,业务数据量越来越大,对海量数据的高效插入和读取变得越来越重要。由于淘宝拥有也许是国内最大的单一hadoop集群(云梯),因此对hadoop系列的产品有比较深转载 2012-07-17 14:11:24 · 1651 阅读 · 0 评论