- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop分布式文件系统：架构和设计要点
<br />http://cloud.csdn.net/a/20101129/282725.html<br /> <br /> <br />一、前提和设计目标<br />1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。<br />2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。<br />3、HDFS以
2011-02-25 09:23:00
352
转载 解决扩展性瓶颈雅虎计划重构Hadoop-MapReduce
<br />http://cloud.csdn.net/a/20110224/292508.html<br /> <br />最近雅虎开发者博客发了一篇介绍Hadoop重构计划的文章。因为他们发现当集群的规模达到4000台机器的时候，Hadoop遭遇到扩展性的瓶颈，目前他们正准备开始对Hadoop进行重构。<br />Mapreduce面临的瓶颈<br />从集群大小和工作量中观察到的趋势是，MapReduce的JobTracker需要彻底改革，以解决其可扩展性，内存消耗，线程模型，可靠性和性能的几个缺陷。
2011-02-25 09:23:00
572
原创 云计算背后的秘密（8）-RPC框架
<br />http://blog.csdn.net/ikewu83/archive/2011/02/20/6195711.aspx<br /> <br />过去Client-Server的年代，类似CORBA和RMI这样的RPC框架层次不求，因为通过这类技术能将单机的IPC（Inter-process communication，进程间通信）扩展为多机之间的通讯，这对扩展性方面是非常有帮助的，但由于种种原因这些RPC框架并没有被业界大规模的采用。而在云计算时代，需要进行分布式通信的机器越来越多，虽然可以通
2011-02-24 09:29:00
445
原创 Summary of 10+ years work
(1) way to build a great team or how to become a great leaderleadership and Vision: empowerment, career development, team moral and motivation;mindset;mentalitygoal and mission: short term and long term goal; project goal, milestonesrole and responsibility
2011-02-23 14:26:00
562
转载 我为何爱读代码？你为何也应当爱？ http://blog.csdn.net/bvbook/archive/2011/02/16/6187192.aspx
<br />http://blog.csdn.net/bvbook/archive/2011/02/16/6187192.aspx<br /> <br />我恨读代码<br />我发现，许多程序员都讨厌读代码——拜托别掩饰了，承认吧。差不多每个人都喜欢写代码——写代码乐在其中。可是，读代码真是不容易，而且还很烦人，又无可逃避，其他人写的代码总是很垃圾（即便不说，我们心里也这么想的）。即使自己写的代码，过几个小时再看也有点垃圾，过的时间再久点，就更垃圾了。那么，还有什么理由去看别人的蹩脚代码，而是不自己写几手
2011-02-23 09:58:00
734
原创 数据同步算法研究 ( 好博客） http://blog.csdn.net/liuben/archive/2010/08/06/5793706.aspx
<br />http://blog.csdn.net/liuben/archive/2010/08/06/5793706.aspx<br /> <br />1、引言 <br /> 基于LAN或WAN的网络应用之间进行数据传输或者同步非常普遍，比如远程数据镜像、备份、复制、同步，数据下载、上传、共享等等，最为简单的做法自然就是对数据进行完全复制。然而，数据在网络上来回被复制多次后就会存在大量副本，很多情形下这些文件副本之间仅有很小的差异，很可能是从同一个文件版本演化而来。如果对文件进行完全复制，在文件较大的情
2011-02-23 09:56:00
609
原创 分布式存储系统设计的若干原则
<br />分布式存储系统设计的若干原则 <br />http://blog.csdn.net/liuben/archive/2011/02/20/6196290.aspx<br /> <br />1、CAP理论<br />2000年Eric Brewer教授提出了著名的CAP理论，即：一个分布式系统不可能满足一致性，可用性和分区容错性这三个需求，最多只能同时满足两个。2002年MIT的Seth Gilbert 和 Nancy lynch两人证明了CAP理论的正确性。根据CAP理论，一致性(C)，可用性(A
2011-02-23 09:54:00
408
原创 数据量的问题是很多面试笔试中经常出现的问题
<br />http://hi.baidu.com/jrckkyy/blog/item/ee657b1772b7d91ac83d6de4.html<br /> <br /> <br />数据量的问题是很多面试笔试中经常出现的问题，比如 google、淘宝、百度、 腾讯 这样的一些涉及到海量数据的公司经常会问到。<br />下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面
2011-02-23 09:53:00
708
原创 海量数据处理常用思路和方法
<br />http://hi.baidu.com/jrckkyy/blog/item/ee657b1772b7d91ac83d6de4.html<br /> <br /> <br />数据量的问题是很多面试笔试中经常出现的问题，比如 google、淘宝、百度、 腾讯 这样的一些涉及到海量数据的公司经常会问到。<br />下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面
2011-02-18 15:27:00
340
原创 Google Megastore分布式存储技术全揭秘
Google Megastore分布式存储技术全揭秘<br /> <br />http://cloud.csdn.net/a/20110216/291968.html
2011-02-18 09:40:00
474
原创 how to manage upwards
<br />be useful (know your role)<br /> <br />understand your boss (priority, working style)<br /> <br />Visibility ( The best way is get possitive feedback from other teams)<br /> <br />Streatch yourself <br /> <br />build good relationship with peers<br
2011-02-17 16:36:00
596
转载 Nosql materials (http://blog.csdn.net/DL88250/archive/2010/01/14/5191092.aspx)
<br /> http://blog.csdn.net/DL88250/archive/2010/01/14/5191092.aspx<br /> <br /> <br /> NoSQL 是非关系型数据存储的广义定义。它打破了长久以来关系型数据库与 ACID 理论大一统的局面。NoSQL 数据存储不需要固定的表结构，通常也不存在连接操作。在大数据存取上具备关系型数据库无法比拟的性能优势。该术语在 2009 年初得到了广泛认同。<br /> 当今的应用体系结构需要数据存储在
2011-02-14 16:24:00
374
转载 NoSQL in the Enterprise
<br /><br /><br /><br />Features<br />MongoDB<br />Riak<br />HyperTable<br />HBase<br />Logical Data Model<br />Rich Document with support for Nested Document<br />Rich Document<br />Column Family<br />Column Family<br />Support for CAP<br />CA<br />AP<br
2011-02-12 15:30:00
319
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人