- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Spark容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后
2016-10-18 11:47:29
374
转载 利用多写Redis实现分布式锁原理与实现分析
在我写这篇文章的时候，其实我还是挺纠结的，因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方，但是我最终还是拿出来与大家分享，我本着学习的态度和精神，希望大家能够给与我指导和改进方案。 一、关于分布式锁 关于分布式锁，可能绝大部分人都会或多或少涉及到。 我举二个例子： 场景一：从前端界面发起一笔支付请求，如果前端没有做防重处理，那么可能在某一个时刻会有二笔一样的单
2016-10-08 08:57:14
1262
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人