spark
泛音青年
世界上最美的语言有两种,一种是五线谱,一种是二进制
展开
-
Spark 本地提交、WebUI全攻略
本地提交:Local提交方式主要用于快速入门,开发阶段测试。用该模式提交,开箱即用,不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时,才需要这两个角色),也不用启动Hadoop的各服务(除非你要用到HDFS)提交命令:提交javaspark-submit --class com.WordCount --master local /usr/local/spark/bin/spark-test-1.0-SNAPSHOT.jar提交pythonspar原创 2020-05-20 17:24:17 · 1240 阅读 · 0 评论 -
spark提交方式总结
spark部署方式:当用/bin/spark-submit 提交任务时,conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)一、Local模式:单机版,不需要依赖Hadoop、Zookeeper等组件。local: 所有计算都运行在一个线程当中,没有任何并行计算,通常我们在本机执行一些测试代码,或者练手,就用这种模式。local[K]: 指定使用几个线程来运行计算,比如loca原创 2020-05-12 18:45:36 · 318 阅读 · 0 评论