引子:
古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。
同样:我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。
—— Grace Hopper(计算机软件第一夫人,计算机历史上第一个BUG的发现者,也是史上最大BUG千年虫的制造者)
这就是分布式。
再来看一组令人瞠目结舌的数据:
2012年11月11日
支付宝总交易额191亿元,订单1亿零580万笔,生成15TB日志,访问1931亿次内存数据块,13亿个物理读……
从上面的资料中我们看到了:高性能!高并发!高一致性!高可用性!海量数据!
这就是海量数据处理。远远超出单台计算机的能力范畴。
这就是分布式集群能力的体现,更说明了采用分布式系统的必要性。
正文:
单台设备的性能、资源、可扩展性等限制 —— 分布式系统(Hadoop)
传统关系型数据库在面对海量数据时的乏力 —— 分布式数据库(HBase)
关系型数据库,顾名思义,善于处理数据模型间复杂的关系、逻辑、事务。
但在处理海量数据时速度、并发量、可扩展性却惨不忍睹。
当然,我们可以通过巧妙的设计与二次开发来解决上述问题。
速度:分表(减少单