spark
「已注销」
这个作者很懒,什么都没留下…
展开
-
Spark任务提交方式和执行流程
一、Spark中的基本概念(1)Application:表示你的应用程序(2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与ClusterManager通信,进行资源的申请,任务的分配和监控等。程序执行完毕后关闭SparkContext(3)Executor:某个Application运行在Worker节点上的一个进程,该进程负责运行...原创 2019-07-03 09:27:53 · 163 阅读 · 0 评论 -
spark 的俩种 任务提交方式
Spark提交方式Standalone client测试环境:Hadoop./spark-submit--master spark://node1:7077 --class 类路径 ../执行文件的路劲 执行任务数 master节点: 掌握worker节点的资源信息 worker节点: ...原创 2019-06-30 21:03:32 · 174 阅读 · 0 评论