spark定制之一：shell启动

hyalone2010

于 2014-07-08 16:17:10 发布

阅读量978

点赞数

分类专栏： shell 文章标签： spark shell 启动

本文链接：https://blog.csdn.net/hyalone2010/article/details/37566699

版权

shell 专栏收录该内容

9 篇文章

订阅专栏

本文探讨如何通过定制使Spark接口更加友好，重点关注Shell启动的实现。文章中提到的shell启动脚本exit.scala仅包含一行`sys.exit()`代码，用于退出操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过定制可以让spark接口更友好。

shell启动脚本：

#!/bin/bash

SPARK_HOME=${SPARK_HOME:-/sysdir/spark-1.0.0}
StartFile="${SPARK_HOME}/bin/start.scala"
StartStr="-i:${StartFile}"
ExitFile="${SPARK_HOME}/bin/exit.scala"
ExitStr=""
NoExit=0
declare -a args
i=0
while [[ $# -gt 0 ]]
do
    case "$1" in
        -start:*)
            parafile=$1
            StartStr="-i:${parafile#*:}"
            ;;
        -nostart)
            StartStr=""
            ;;
        -i:*)
            eval args[${i}]=$1
            i=$((${i}+1))
            if [[ NoExit -eq 0 ]]; then
                ExitStr="-i:${ExitFile}"
            fi
            ;;
        -noexit)
            NoExit=1
            ExitStr=""
            ;;
        *)
            eval args[${i}]=$1
            i=$((${i}+1))
            ;;
    esac
    shift
done

${SPARK_HOME}/bin/spark-shell "${StartStr}" "${args[@]}" "${ExitStr}"

exit.scala很简单，只有一行代码：

sys.exit()