defungo的博客

数据库的sharding技术作为一个“新瓶装旧酒”的概念，在新的应用环境中被赋予了新的意义。随着云计算的发展，sharding在最近几年是越来越火热，越来越多的产品开始声称自己支持sharding功能。那么到底什么是sharding，sharding到底能为你的数据库应用带来哪些好处。另外最重要的，如何实现一个sharding系统，有哪些sharding算法可供选择。本文将为你...

【51CTO综合报道】围脖，织围脖——这是什么？冬天到了，织条围脖保暖吗？错，这是网络流行用语。这还是大家的生活方式，生活态度。“找我？来我微博啊！”最近身边的朋友都在织啊织，你不织？你就是“奥特曼”。那么大家是否知道微博的开发模式吗？数据库是如何部署的？又是如何优化的？这些问题一出，必要找达人为我们解惑。51CTO有幸请到新浪首席DBA杨海潮先生来为我们解一解上述的疑惑。专访人物介绍...

Mapreduce概念：一种分布式编程模型，在hadoop中用于负责mapreduce任务的是JobTracker，TaskTracker，                       Hadoop中只有一台JobTracker。                    1.JobTracker：用于任务的管理和调度工作。                    2.TaskTrack...

1.map(K1, V1) –> list (K2, V2)                    // 对输入数据进行抽取过滤排序等操作 2.combine(K2, list(V2)) –> list(K2, V2)        // 为了减少reduce的输入，需要在map端对输出进行预处理，类似3.reduce。不是所有的reduce都在部分数据集上有效，比如求平均...