Spark Shell

学会抄代码
很多作业都需要脚本来启动
1）了解Spark-Shell的启动流程
2）抄抄抄

Shell script for starting the Spark Shell REPL //REPL: Read-Evaluate-Print-Loop

1. $uname 检查系统信息
   uname -r 看一下系统的版本
   uname -a 看一下系统所有的信息

2. if [ -z “” ] 判断字符串长短是否为0
   teacher=“ruoze”
   if [ -z “${teacher}” ]; then
   echo “Jepthon”
   else {
   echo ${teacher}
   }
   fi
   然后 chmod u+x test.sh
   ./test.sh

3. $(dirname “$0”) 当前目录
   home=cd $(dirname "$0");pwd
   echo ${home}
   $0：当前Shell程序的文件名
   dirname $0，获取当前Shell程序的路径
   cd dirname $0，进入当前Shell程序的目录

4. main “$@” 全部参数

   function main() {
   echo “input params is :”$@
   }

   main “$@”

   在运行的时候：
   ./test.sh
   input params is :

    ./test.sh yzy yy zz 
    input params is : yzy yy zz
   

5. 从spark-shell 走到了 spark-submit 中
   “$SPAR{K}_{H}OME"/bin/spark-submit--classorg.apache.spark.repl.Main--name"Sparkshell""$@”
   后来又走到了spark-class

6. exec 执行