Spark命令笔录（2）-spark-submit

注意 任务jar包如果采用集群模式cluster则需要在集群所有机器上都上传任务jar包

spark-submit \
--class com.cloudera.datascience.geotime.RunGeoTime \
--master spark://192.168.146.100:6066 \
--deploy-mode cluster \ 
--executor-memory 1G \
--executor-cores 3 \
--name "taxiGeoSpace1" \
/home/fgq/Downloads/ch08-geotime-2.0.0.jar
 
 
 spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--executor-memory 1G \
--num-executors 10 \
/home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \
100

--------------------------------------Standalone-----------------------------------------
##Standalone-client--------------------
spark-submit \
--master spark://master:7077 \
--class org.apache.saprk.examples.SparkPi \
/xx/xx/examples/jar/spark-examples.jar
等价于
spark-submit \
--master spark://master:7077 \
--deploy-mode client \
--class org.apache.saprk.examples.SparkPi \
/home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \

##Standalone-cluster------------------
7077----------
	此种情况为集群计算运行但是driver为固定的一台
spark-submit \
--master spark://master:7077 \
--deploy-mode cluster \
--class org.apache.saprk.examples.SparkPi \
/home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \

6066----------
	此种情况为集群计算运行 
    driver为集群中随机合适的一台
	比起上面情况降低了固定某台的压力
	此时需要每台机器上都上传任务jar包
spark-submit \
--master spark://master:6066 \
--deploy-mode cluster \
--class org.apache.saprk.examples.SparkPi \
/home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \

---------------------------------------利用yarn集群提交应用

# --class 运行 Java 或 Scala 程序时应用的主类
# --master 表示要连接的集群管理器
# --deploy-mode 选择在本地（客户端“ client”）启动驱动器程序，还是在集群中的一台工作节点机
器（集群“ cluster”）上启动。在客户端模式下， spark-submit 会将驱动器程序运行
在 spark-submit 被调用的这台机器上。在集群模式下，驱动器程序会被传输并执行
于集群的一个工作节点上。默认是本地模式
# --name 应用的显示名，会显示在 Spark 的网页用户界面中
# 最后是应用入口的 JAR 包或 Python 脚本
spark-submit  --class com.cloudera.datascience.geotime.RunGeoTime 
--master yarn --deploy-mode cluster  
--executor-memory 2g --executor-cores 2  
--name "taxiGeoSpace"  
/home/ch08-geotime/ch08-geotime-space-2.0.0.jar 

---------------------------------------利用spark自带的管理器提交应用

# 注意集群模式地址是 spark://master:6066，客户端模式地址是spark://master:7077
spark-submit  --class com.cloudera.datascience.geotime.RunGeoTime 
--master spark://master:6066 --deploy-mode cluster  
--executor-memory 2g --executor-cores 2  --name "taxiGeoSpace1" 
 /home/ch08-geotime/ch08-geotime-space--2.0.0.jar