![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 88
Unyielding ● L
这个作者很懒,什么都没留下…
展开
-
【译】MapReduce: 在大规模机器上的简易数据处理
在过去的五年,作者以及在 Google 的其他同事实现了上百个特定需求的计算程序用来处理大规模的原生数据,例如爬取的文档,web 请求日志,等等。计算多种形式的派生数据,例如倒排索引,多种形式的 web 文本图结构,从每个主机爬取文档的数量,给定日期最常访问的请求等等。大多数这样的计算在概念上是直接的。可是,输入数据通常是巨大的,为了在合理时间完成计算程序不得不分布在几百或几千台机器上执行。如何并行化计算、分布数据和处理故障等问题,使用大量复杂代码来处理这些问题使得原始简单计算变得模糊起来。翻译 2022-11-25 22:42:23 · 713 阅读 · 0 评论 -
Hadoop 租约(一)
“租约” ,何为租约,一个租约管理着一个client的所有锁,对于每个client 都有一个相应的租约,但一个client 定期 check in 时租约的时间戳就会更新,当一个client 停止的时候并且允许租约到期,则对应的所有 锁都会释放。大家来看看租约这个类:class Lease implements Comparable<Lease> { // 租约的持有者,就...原创 2019-10-27 10:59:27 · 412 阅读 · 0 评论