Spark
Pluto!
这个作者很懒,什么都没留下…
展开
-
Spark On Yarn 的两种模式
在Spark StandLone模式中,一个 Worker 只能运行一个 Application 所属的一个 Executor,而不同的 Application 的 Executor 可以运行在一台 Worker 上。 Spark On Yarn 每个Executor作为YARN容器(container)运行,Spark可以使得多个Tasks在同一个容器(container)里运行。 Yarn可以自由选择Executor的数量。 Spark On Yarn Cluster Sp..原创 2020-12-05 21:10:02 · 410 阅读 · 0 评论 -
Spark Scala、Java、Java_Lambda写WordCount案例
目录 Spark Scala Java java_Lambda 提交 Spark Scala package com.doit.Spark.day01 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object SparkRDD { def main(args: Array[String]): Unit = { //神奇的大集合 val conf: Sp原创 2020-11-22 22:48:04 · 174 阅读 · 0 评论