![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark-翻译
以浪为码
发篇博客以表牛逼。
展开
-
Spark 提交应用程序
提交应用程序 原文地址: http://spark.apache.org/docs/latest/submitting-applications.html 仅限交流使用,转载请注明出处。如有错误,欢迎指出!Henvealf/译使用 spark-submit 脚本来运行你的应用程序到集群上。绑定你的应用的依赖当你的程序依赖一些其他的项目时,需要将依赖一起放进 jar 包中。这样就需要创建一翻译 2016-11-26 20:24:09 · 419 阅读 · 0 评论 -
Spark Job 调度 (官方文档翻译)
Job 调度 原文地址:http://spark.apache.org/docs/latest/job-scheduling.html#fair-scheduler-pools 仅限交流使用,转载请注明出处,如有 warn 或 error,欢迎指正。Henvealf/译在应用程序间调度当在集群上运行,一个 Spark 应用程序获得一系列独立的执行器(Executor) JVMs,执行器仅翻译 2016-11-28 19:28:28 · 736 阅读 · 0 评论 -
Spark Streaming checkpoint
英文原文2019-03checkpoint (检查点)用于恢复与处理与应用逻辑无关的故障,比如 system failures, JVM crashes。将足够的信息存储在可靠的存储中,使程序能够从故障中恢复。一共有两种类型的数据需要被存储为检查点:元数据检查点 - 存储streaming计算的定义到可靠的存储中,比如 HDFS。用于从故障中恢复运行 driver 的节点。元数据包括:...翻译 2019-03-27 23:46:50 · 355 阅读 · 0 评论