云计算与大数据
遨游网络huster
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式文件系统(HDFS)学习笔记
今天在看《Hadoop权威指南》(第二版)这本书,就简略写一点读书笔记吧。 HDFS的默认数据块大小为64M,一般的磁盘块大小为512 bytes。HDFS的数据块远远大于一般磁盘块,是为了最小化寻址开销。如果块设置的足够大,从磁盘传输数据的时间会远远大于定位这个块起始位置的时间,这样传输一个由多个块组成的文件的时间取决于磁盘的传输速率。 对分布式文件系统中的原创 2013-12-28 21:19:09 · 1047 阅读 · 0 评论 -
Hadoop的作业调度算法总结
当前,应用比较广泛的Hadoop作业调度算法包括:FIFO调度算法、Yahoo公司研发的计算能力调度(Capacity Scheduler)算法和Facebook公司研发的公平份额调度(Fair Scheduler)算法。(1)先入先出调度算法Hadoop最早应用时,处理的业务通常是单用户提交的大型批处理作业,因此作业调度器采用了先入先出(First In First Out)调度算法。该原创 2014-01-03 21:24:35 · 2569 阅读 · 0 评论 -
转载:由12306.cn谈谈网站性能技术
作者 :陈皓 出处:酷 壳 – CoolShell.cn原文网址:http://coolshell.cn/articles/6470.html 12306.cn网站挂了,被全国人民骂了。我这两天也在思考这个事,我想以这个事来粗略地和大家讨论一下网站性能的问题。因为仓促,而且完全基于本人有限的经验和了解,所以,如果有什么问题还请大家一起讨论和指正。(这又是一篇转载 2014-01-10 13:41:27 · 869 阅读 · 0 评论 -
转载:Google Dremel 原理 - 如何能3秒分析1PB
原文地址:http://www.yankay.com/google-dremel-rationale/简介Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群,处理PB级别的数据。MapReduce处理一个数据,需要分钟级的时间。作为MapReduce的发起人,Google开发了Dremel将处理时间缩短到秒级,作为MapReduce的有力补充。转载 2014-01-11 19:18:06 · 776 阅读 · 0 评论 -
转载:12306:分布式内存数据技术为查询提速75倍
原文网址:http://www.ctocio.com.cn/cloud/120/12820120.shtml背景和需求 中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一,媲美Amazon.com,节假日尤其是春节的访问高峰,网站压力巨大。据统计, 在2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿。大量同时涌入的转载 2014-01-11 21:03:59 · 905 阅读 · 0 评论 -
京东11.11:交易系统的关键技术
电商的11.11大促,既是一场全民运动,也是顶级团队和技术的对决。为了深入剖析11.11背后的技术力量,InfoQ派出了多位编辑亲临各大电商的11.11指挥部现场,对一线的技术专家做了各个领域的专访。本篇新闻就是对京东商城技术研发体系交易平台副总监王晓钟的采访报道。王晓钟介绍说,11.11大促,基本的原则是保证主要的交易系统没有任何故障,这是多部门合作的结果。运维部门从网络层开始就准备了很转载 2014-11-18 20:01:28 · 851 阅读 · 0 评论 -
分布式系统的事务处理
今天无意中看到了转载 2014-11-23 19:00:59 · 731 阅读 · 0 评论 -
Hadoop学习路线图
按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章: 用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用Hadoop进行分布式数据处理第2部分(进阶):http://www.ibm.com/developerworks/c转载 2015-01-13 10:37:32 · 859 阅读 · 0 评论