![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
yilan1993
这个作者很懒,什么都没留下…
展开
-
对MapReduce的简单理解以及归纳总结
看了google的MapReduce论文,为了以后便于自己查阅,特写一下总结: 就像摘要里面说的,主要讲了以下几点: 1、输入数据切分 2、真个集群的分配调度,包括如何把切分好的数据分发给Map机器,以及如何把Map好的数据给Reduce机器。 3、集群容错,包括worker failure以及master failure。 worker failure 解决办法是:分配一个没有失效的机器原创 2015-10-22 00:13:42 · 561 阅读 · 0 评论 -
五分钟法则(five minute rules)
出处:http://blog.csdn.net/pennyliang/article/details/5903181 1987年,Jim Gray和Gianfranco Putzolu推出了著名的5分钟法则[Gray 1987],他们通过内存,硬盘的性能以及当时的成本,给出了这样的公式:BreakEvenIntervalinSeconds = (PagesPerMBofRA转载 2016-01-17 18:59:24 · 642 阅读 · 0 评论 -
Enterprise Application Characteristics
Enterprise Application Characteristics原创 2015-12-26 11:26:29 · 253 阅读 · 0 评论 -
The Log-Structured Merge-Tree(译)
http://duanple.blog.163.com/blog/static/7097176720120391321283/转载 2016-02-20 18:53:36 · 846 阅读 · 0 评论 -
Kafka Wire Protocol
Network: 1、 Client和Server用的tcp连接,并不需要三次握手,(No handshake is required on connection or disconnection) 2、 server上面有连接请求数的限制,超过这个连接请求数,再次连接就会失败(The server has a configurable maximum limit on request siz原创 2016-05-25 18:15:59 · 403 阅读 · 0 评论 -
kafka一些基本操作
1. 查看某个topic各个分区的位置: bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181 2. 创建某个topic: bin/kafka-topics.sh --create --zookeeper ip:2181 --rep原创 2016-05-31 15:27:57 · 2439 阅读 · 0 评论 -
HBase高性能复杂条件查询引擎
写在前面 本文2014年7月份发表于InfoQ,HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能,由于在前期架构时充分考虑了通用性以及对复杂条件的支持,在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。Ted Yu对“查询决策器”表示了关心,他指出类似的组件同时也是Phoenix, Impala用于支持SQL查询的核转载 2016-09-13 11:02:17 · 552 阅读 · 0 评论