![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Pluto!
这个作者很懒,什么都没留下…
展开
-
Spark On Yarn 的两种模式
在Spark StandLone模式中,一个 Worker 只能运行一个 Application 所属的一个 Executor,而不同的 Application 的 Executor 可以运行在一台 Worker 上。Spark On Yarn每个Executor作为YARN容器(container)运行,Spark可以使得多个Tasks在同一个容器(container)里运行。Yarn可以自由选择Executor的数量。Spark On Yarn ClusterSp..原创 2020-12-05 21:10:02 · 435 阅读 · 0 评论 -
Spark Scala、Java、Java_Lambda写WordCount案例
目录Spark ScalaJavajava_Lambda提交Spark Scalapackage com.doit.Spark.day01import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object SparkRDD { def main(args: Array[String]): Unit = { //神奇的大集合 val conf: Sp原创 2020-11-22 22:48:04 · 180 阅读 · 0 评论