Web2.0技术
jimmydai2008
这个作者很懒,什么都没留下…
展开
-
大型网站的并发处理
大型网站中,大量用到了多对多关系,传统的处理方式无法满足高并发的性能要求;通过冗余和缓存等方式,可以有效解决这方面的问题。传统多对多的处理方式就拿文章标签来说吧,一个文章可以有多个标签,而每个标签又可以对应多篇文章,这又是一个几何乘积,数据量也会是天文数字。传统的处理方式有三种:第一种是通过SEARCH的方法来实现;第二种是通过另建一个索引表,放置对应的ID以进行存贮;第三种是通过转载 2011-06-12 14:19:00 · 629 阅读 · 0 评论 -
Google核心技术-分布式大规模数据处理
分布式大规模数据处理MapReduce首先,在Google数据中心会有大规模数据需要处理,比如被网络爬虫(Web Crawler)抓取的大量网页等。由于这些数据很多都是PB级别,导致处理工作不得不尽可能的并行化,而Google为了解决这个问题,引入了MapReduce这个编程模型,MapReduce是源自函数式语言,主要通过"Map(映射)"和"Reduce(化简)"这两个步骤来并行处转载 2011-06-12 14:23:00 · 344 阅读 · 0 评论