云计算/大数据
文章平均质量分 88
kingzone_2008
对于机器学习数据挖掘相关技术有浓厚兴趣
展开
-
Google File System II: Dawn of the Multiplying Master Nodes
谷歌定制的文件系统迫于前所未有的压力,因此谷歌酝酿着一个替代产品。 很明显,作为早些时候宣布的“caffeine”架构的一部分,GFS的全面修改正处于测试阶段。 在ACM的一次访谈中,Google的Sean Quinlan说,GFS诞生近10年来已经做了许多超出其预期的工作。 “考虑到Google的操作的数量级已经远远超过其设计能力,它的持久力是极为突出的。尽管谷歌目前支持的应用程序组合不是翻译 2012-08-27 11:03:22 · 1623 阅读 · 0 评论 -
Google Caffeine: What it really is
Google推出其称作Caffeine的沙盒,但这并不仅仅是下一代搜索引擎的基础。她至少在未来几年中将作为Google所有在线应用的的软件体系的一部分。 在The Reg的访谈中,Matt Cutts证实,Google的Caffeine基于对其原有GFS的全面修改。Google内部称之为GFS2。 Matt Cutts说,“Caffeine包含了许多(新)技术,而且下一代存储是Caffeine翻译 2012-11-04 02:01:14 · 1586 阅读 · 0 评论 -
文件系统与HDFS
1.文件系统 磁盘块(物理块):一般为512Bytes或1024Bytes 逻辑块(文件系统块):一般为几KB,通常为磁盘块的整数倍 Linux Ext2中还有一个重要概念:片(fragment):用于避免“内碎片” 物理块大小 2.HDFS(Hadoop分布式文件系统) HDFS中块(block)默认大小为64MB,不同于其他FS,HDFS中小于一个块大小的文件不会占据整个块的空间原创 2012-11-09 11:48:35 · 1883 阅读 · 0 评论 -
Sqoop Developer’s Guide v1.4.6 (Sqoop开发者指南,中文版)
1.介绍 如果你是一个开发者或者应用程序员,想要修改Sqoop或者使用Sqoop内部API构建一个扩展,你应该阅读本文档。以下章节描述了每个API的目的,哪里用到了内部API,实现其他数据库的支持需要哪些API。 2.支持的发行版 本文档适用于Sqoop v1.4.6。 3.Sqoop发行版 Apache Sqoop是Apache Software Foundatio翻译 2015-12-14 17:27:47 · 6220 阅读 · 5 评论 -
Twitter开源大数据实时分析系统Heron:Heron架构
Heron架构Heron是Apache Storm的一个直接继承者。从架构角度来看,它与Storm截然不同,但是从API的角度看它是完全向后兼容的。 下面的章节指明了Heron和Storm的区别,描述了Heron背后的设计目标,并解释了其架构的主要组件。代码库Heron代码库的详细指南在这里。拓扑你可以认为一个Heron集群是一种管理流式处理实体(称作拓扑)的生命周期机制的机制。更多信息可以查看H翻译 2016-05-26 16:08:39 · 10051 阅读 · 0 评论