spark sql 本地调试_MaxCompute Spark 如何在本地进行调试？-问答-阿里云开发者社区-阿里云...

可以使用IDEA进行MaxCompute Spark进行本地调试。

如何搭建MaxCompute Spark开发环境。

前提条件

搭建开发环境之前，请确保您已经完成如下软件的安装：

JDK 1.8

Python2.7

Maven

Git

下载MaxCompute Spark客户端

MaxCompute Spark发布包集成了MaxCompute认证功能。作为客户端工具，它通过Spark-Submit方式提交作业到MaxCompute项目中运行。目前提供了面向Spark1.x和Spark2.x的2个发布包：

Spark-1.6.3：适用于Spark1.x应用的开发。

Spark-2.3.0：适用于Spark2.x应用的开发。

设置环境变量

JAVA_HOME设置。

# 推荐使用JDK 1.8

export JAVA_HOME=/path/to/jdk

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

SPARK_HOME设置。 下载MaxCompute Spark客户端并解压到本地任意路径。将SPARK_HOME参数替换为您的解压路径。

export SPARK_HOME=/path/to/spark_extracted_package

export PATH=$SPARK_HOME/bin:$PATH

PySpark的用户请安装Python2.7版本，并设置PATH。

export PATH=/path/to/pytho