分布式系统
kurobane
本博客主要以转载优秀的技术文章为主
展开
-
Digg背后的技术
<br /><br />http://cloud.csdn.net/a/20110406/295324.html<br /> <br />虽然最近业绩有所下滑,也出现了一些技术故障,但Digg作为首屈一指的社会化新闻网站,其背后的技术还是值得一探,最近Digg工程师 Dave Beckett 的一篇名为《How Digg is Built》的文章,非常系统地将Digg背后的技术展现给大家,非常值得一看。<br />一、Digg提供的服务<br />一个社会化的新闻网站<br />对个人来说它又是一个私人社会转载 2011-04-06 11:18:00 · 372 阅读 · 0 评论 -
微博feed系统推拉模式和时间分区拉模式架构探讨
http://sd.csdn.net/a/20100901/278921.htmlsns系统,微博系统都应用到了feed(每条微博或者sns里的新鲜事等我们称作feed)系统,不管是twitter.com或者国内的新浪微博,人人网等,在各种技术社区,技术大会上都在分享自己的feed架构,也就是推拉模式(timyang上次也分享了新浪微薄的模式)。下面我们就微博的feed推拉(pus转载 2011-11-13 17:14:57 · 646 阅读 · 0 评论 -
Evernote架构探析:为什么不用NoSQL?
http://cloud.csdn.net/a/20120224/312377.html导读:Evernote是非常著名的在线记事本应用。下面我们来一起探析它的后台架构,看看Evernote为什么没有选择流行的NoSQL。当为大家描述我们的整体服务架构时,最常见的两个问题是:为什么采用结构化方式将数据存储在SQL数据库中,而不使用NoSQL平台?转载 2012-04-10 22:50:13 · 503 阅读 · 0 评论 -
在线视频王者YouTube的技术哲学
http://cloud.csdn.net/a/20120409/2804327.html导读:许多团队都使得他们的基础架构越来越复杂,YouTube团队却尽量保持简单的风格。正是凭借简单的技术哲学,才成就了YouTube在线视频王者的盛名。如果你想构建一个可以承载日访问量40亿次的网站,YouTube有许多值得借鉴的地方。本文是YouTube的工程师Mike转载 2012-04-10 22:45:14 · 693 阅读 · 0 评论 -
评点一下新浪微博的技术架构
你要问我新浪微博有什么技术压力。我觉得,本质上: 第一,如何快速共享数据,如何快速的将new message在网状社区中传递开来。 第二,长期大量积累下来的数据如何分布,分散储存,保证性能。数据库的横纵切分。 第三,机房的多备份,多备份机房之间的同步策略。 第四,业务上的转载 2012-07-03 21:46:58 · 1216 阅读 · 0 评论 -
Facebook公开其Hadoop与Avatarnode代码——有效解决Namenode顽疾
Google在2004年创造了MapReduce,MapReduce系统获得成功的原因之一是它为编写需要大规模并行处理的代码提供了简单的编程模式。MapReduce集群可包括数以千计的并行操作的计算机。同时MapReduce允许程序员在如此庞大的集群中快速的转换数据并执行数据。它受到了Lisp的函数编程特性和其他函数式语言的启发。MapReduce和云计算非常相配。MapReduce的关键特点是它转载 2012-07-03 21:35:20 · 671 阅读 · 0 评论 -
深入理解Hadoop集群和网络
http://www.csdn.net/article/2012-08-30/2809380-understanding-hadoop-clusters-and-the-ne摘要:本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读:云计算和Hadoop中网络是讨论得相对比较少的领域转载 2012-09-01 20:22:37 · 462 阅读 · 0 评论 -
Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel
http://www.csdn.net/article/2012-08-21/2808870摘要:Google在2003年到2004年公布了关于GFS、MapReduce和BigTable三篇技术论文,这也成为后来云计算发展的重要基石,如今Google在后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。转载 2012-08-28 22:18:41 · 3522 阅读 · 1 评论 -
高并发高流量网站架构
http://blog.csdn.net/SmartTony/article/details/5874485Web2.0的兴起,掀起了互联网新一轮的网络创业大潮。以用户为导向的新网站建设概念,细分了网站功能和用户群,不仅成功的造就了一大批新生的网站,也极大的方便了上网的人们。但Web2.0以用户为导向的理念,使得新生的网站有了新的特点——高并发,高流量,数据量大,逻辑复杂等转载 2011-11-13 17:07:51 · 444 阅读 · 0 评论 -
一淘网的系统架构
http://www.biaodianfu.com/etao-architecture.html一淘网是淘宝推出的一款购物搜索引擎,目前主要是由四部分组成:购物相关资讯的文本搜索-导购、基于opensearch的全网商品搜索-商品、购物社区-淘吧、问答搜索、全网搜索(目前使用的是其他搜索引擎公司的系统、自己公司的也有,但不是默认项)。导购搜索的目的是要将购前分流至各大垂转载 2011-12-04 15:40:24 · 1251 阅读 · 0 评论 -
【分享】Quora使用到的技术
http://sd.csdn.net/a/20110704/301038.html导读:酷壳网的陈皓以前向大家介绍过Stack Exchange的系统架构和Facebook的系统架构,今天向大家介绍Quora使用的技术。文章内容如下:本文主要参考了Phil W转载 2011-07-04 21:47:59 · 415 阅读 · 0 评论 -
使用 Apache Hadoop 和 Dojo 降低商业智能成本,第 1 部分: 使用 Apache Hadoop 挖掘现有数据
【转载按】分布式框架HADOOP的一个实例介绍,详细讲解了HADOOP如何从一个大数据量的日志里面解析并聚合数据,即HADOOP标志性的MAP/REDUCE操作。【原文】http://www.ibm.com/developerworks/cn/web/wa-d转载 2011-07-03 17:11:33 · 302 阅读 · 0 评论 -
MapReduce:超大机群上的简单数据处理
http://blog.csdn.net/active1001/archive/2007/07/02/1675920.aspxMapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集转载 2011-04-01 11:47:00 · 322 阅读 · 0 评论 -
Hadoop入门系列文章
第1回いまさら聞けないHadoopとテキストマイニング入門http://www.atmarkit.co.jp/fjava/rensai4/hadoop_tm01/01.html第2回実践! 「MapReduceでテキストマイニング」徹底解説http://www.atmarkit.转载 2011-07-21 22:18:39 · 323 阅读 · 0 评论 -
Java PaaS 对决(Google App Engine、Amazon Elastic Beanstalk 和 CloudBees RUN@Cloud 的技术比较)
简介: 本文为 Java™ 开发人员比较了三种主要的 Platform as a Service (PaaS) 产品:Google App Engine for Java、Amazon Elastic Beanstalk 和 CloudBees RUN@Cloud。它分析了每种服转载 2011-07-13 22:01:09 · 883 阅读 · 0 评论 -
MapReduce技术的初步了解与学习
http://blog.csdn.net/v_july_v/article/details/6637014MapReduce技术的初步了解与学习 --包含Google MapReduce中文版 今天咱们学习下MapReduce模型。由于是本人是初次接触,不是很了解。所以,有转载 2011-07-27 20:16:21 · 391 阅读 · 0 评论 -
大数据下的数据分析平台架构
http://www.programmer.com.cn/7617/随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一个非常转载 2011-08-12 22:26:52 · 434 阅读 · 0 评论 -
视频网站的Big Data解决之道
http://www.programmer.com.cn/7615/概述优酷作为一家大型视频网站,拥有海量播放流畅的视频。我们秉承注重用户体验这一产品技术理念,将绝大部分存储用在视频资源上。通过建设专用的视频CDN,建立了可自由扩展、性能优异的架构,在转载 2011-08-13 09:52:35 · 506 阅读 · 0 评论 -
Hadoop学习笔记(Day1:Hadoop家族体系、权威指南1、2.4章)
1)Hadoop家族体系Hadoop家族成员概述http://www.cnblogs.com/lucky-girl/p/3632765.html这篇文章简明扼要地介绍了Hadoop家族各个成员的功能。Hadoop家族学习路线图http://blog.csdn.net/it_man/article/details/14899905这篇文章除了介绍家族成原创 2017-03-29 23:18:42 · 814 阅读 · 0 评论