【Spark Summit EU 2016】Spark中的自动检查点

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Nimbus Goehausen在Spark Summit EU 2016上的演讲,主要介绍了面对需要自动保证Spark的数据来源以及存储路径正确,并且在对于需要保存的数据进行保存而对于需要改变的数据进行改变,所以需要在Spark工作流中使用自动检查点来对以上要求进行保障,本讲义就主要介绍了Spark中自动检查点的设计动机、工作原理以及使用方法。


d13878735feba91dae96abfecca483235f28428f

7197eb27996be34ee3fd8334861afe7db90e0f24

bb07bfac52fbef0a4b4b6b4505e697ed1f4149da

d01db83a9aa4c08e110b6fc854b505605052bff5

81be6513ef825db548dec130239338460291239b

9c05337ca9c213077b687b6c28eb89cea7817176

b65fd35dece94dc7f0efcb95120cf5f2bde21aad

fe8248cbc083fd77c292d8e0390772c2f71005bc

02d2f5c98ffda10d8d3a29fab87d520ff5eec5dc

ec0d8a2c34e76330dfa8f71b827ad5fbe0d5a134

940097ea92a2aa2995e8ca20b29a50e74f3f1d3a

91cf1b48fb13792c00217feadf7f6361805fc593

1fc76881f1e83d3015fc81a2601f8f624fd24b14

e6832f13d0e7ceda8b3cd2882941a8f5a646fff6

0ab81695c2b43fa6ff71d9e9b1515808235b8b3f

025a1092f8613499108e3ab563ce24f07256482b

6115e217c08bdf6dfd14c522f928a952cdc4b3ae

49508b6e6f75e6d7ea7677614532161d732a1ce1

72e5700ca0695e2be873ac5b9ccc1a849c35616d

efd7aa63786d322def6982f389e3b4b5031ac4ce

93847a2f8e0c56b12c2784df8c190f03941b9c08

eefc93121c7c8b8be5a7de439f6dcf9aca520216

4265a3c3693bda718ad7b3b774d3870c677afb42

3c96529691cfb8dbba0685d6147e3cd7997f393f

c14d05c6a5b8efdbca19bef70c195058681ab95b

0166990c11272ef55d0bf493c1a04c9713eb1930



37c8166b45c9901454db208efeb4ed8fa6801bc5

bceb678199d3b6a4a9139b37bc2ffaa52a23c730


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值