Java-Spark系列9-Spark 运维管理

备注:
Cloudera 6.3.1
Spark 2.4

一.Spark安装目录结构

Spark组件主要文件安装目录:
{BIGDATE_HOME} 为 /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567

目录路径	目录说明
bin	可执行文件，包含spark-submit、spark-shell
etc	配置文件
lib、lib64	Spark依赖包目录

二.Spark日志目录结构

Spark组件服务日志目录：/var/log/spark/

spark-history-server-hostname.log 代表history-server服务运行的
lineage 目录下的log文件是spark运行的log

Spark任务日志查看:

三.维护命令与参数

因为使用spark-submit命令提交，此处主要讲解spark-submit的参数

spark-submit
--master MASTER_URL
--deploy-mode DEPLOY_MODE
--conf PROP=VALUE
--py-files PY_FILES
... # other options
<python file> [app arguments]

1. Master URLS
2. Local: local、local[K]、local[*]
3. Standalone: spark://HOST:PORT
4. Mesos: mesos://HOST:PORT
5. YARN: yarn-client、yarn-cluster（根据本地hadoop配置)

举例:

spark-submit
--master yarn-client
--executor-memory 512M
--driver-memory 512M
--num-executors 3
--executor-cores 2
--queue root.spark
sparkpi.py 100

参考:

1.https://www.modb.pro/doc/7697