spark常用命令

查看报错日志：yarn logs applicationID
spark2-submit --master yarn --class com.hik.ReadHdfs test-1.0-SNAPSHOT.jar

进入$SPARK_HOME目录，输入bin/spark-submit --help可以得到该命令的使用帮助。
hadoop@wyy :/app/hadoop/spark100$ bin/spark-submit --help
Usage: spark-submit [options] <app jar | python file> [app options]
Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.
  --deploy-mode DEPLOY_MODE   driver运行之处，client运行在本机，cluster运行在集群
  --class CLASS_NAME          应用程序包的要运行的class
  --name NAME                 应用程序名称
  --jars JARS                 用逗号隔开的driver本地jar包列表以及executor类路径
  --py-files PY_FILES         用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
  --files FILES               用逗号隔开的要放置在每个executor工作目录的文件列表
  --properties-file FILE      设置应用程序属性的文件放置位置，默认是conf/spark-defaults.conf
  --driver-memory MEM         driver内存大小，默认512M