Spark Shell客户端总结

Spark Shell客户端总结

1. 背景

1. 作为服务器端运行软件，很多都会提供多种访问和操作方式。如mysql、hdfs、hbase、hive、clickhouse等等。都会提供api、shell客户端，web网页端、部分甚至还会有ui图形化工具。
2. 多种多样的访问和操作方式，都是为了方便调试和查看这些服务器端运行软件的，一个好的服务器软件一定是要容易上手的，这时候shell客户端就很重要，可以通过输入交互性命令来快速学习和验证软件的各个功能。
3. spark也不例外，提供了shell客户端来做交互式的数据操作，并且可以使用scala、python、R三种语言来访问和操作。

2. Spark Shell是什么

1. spark shell是spark中的交互式命令行客户端，
2. 可以在spark shell中使用scala编写spark程序，
3. 启动后默认已经创建了SparkContext，别名为sc。有了sc才能进一步做数据操作。
   注意，在编写程序时，sparkContext是需要关闭的，这一点和操作mysql、hbase等是一样的，建立了连接不使用之后需要及时关闭

3. Spark Shell简单使用

3.1 启动Spark Shell

1. shell 客户端位置
   /opt/apps/spark-3.0.1-bin-hadoop3.2/bin
   在spark安装目录的bin目录下，有一个spark-shell可执行文件
   
2. spark-shell的参数

# 查阅文档
./spark-shell --help

Usage: ./bin/spark-shell [options]

Scala REPL options:
  -I <file>                   preload <file>, enforcing line-by-line interpretation

Options:
  --master MASTER_URL         spark://host:port, mesos://host:port, yarn,
                              k8s://https://host:port, or local (Default: local[*]).
  --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                              on one of the worker machines inside the cluster ("cluster")
                              (Default: client).
  --class CLASS_NAME          Your application's main class (for Java / Scala apps).
  --name NAME                 A