python提交spark_Spark从入门到精通35：在eclipse中直接使用spark-submit提交Spark任务

通常在开发Spark任务的时候，都是先在本地主机的IDE中开发完Spark任务，然后上传到Spark集群，最后通过命令行提交并运行，这样很不方便。本节就来介绍一种直接在Eclipse IDE中通过调用外部工具spark-submit来直接提交spark任务的简便方法。

这里以提交Python任务为例进行说明环境搭建。(Java和Scala类似)

1.下载安装Eclipse Scala IDE

为了便于说明，我直接在Spark集群测试环境的master节点上装上图形化界面。然后去Scala IDE官网下载Linux对应版本的eclipse并安装。这个过程很简单，不做详述。

2.安装PyDev插件

启动Eclipse，依次点击Help —— Install New Software… —— Add —— Name输入：PyDev，Location输入：https//dl.bintray.com/fabioz/pydev/7.1.0/ —— OK —— 在列出的资源中勾选PyDev —— next —— next —— 选择”I accept …” —— Finish。耐心等待安装完成，然后重启Eclipse即可。

3.设置字符串替代变量

启动Eclipse，依次点击Window —— Preferences —— Run/Debug —— String Substitution —— New —— Name输入：SPARK_HOME，Value输入：Spark实际安装位置 —— OK。

以同样的方式，设置HADOOP_CONF_DIR变量，值为Hadoop配置文件的路径；设置PYSPARK_PYTHON，值为anaconda安装目录下的bin/python。

4.设置Python解释器路径

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Browse for Python/pypy exe —— Interpreter Name输入Python3，Interpreter Executable输入anaconda安装目录下的bin/python3 —— OK —— 在列出的依赖中选择所有 —— OK即可。

5.设置anaconda中的链接库路径

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Libraries —— New Folder —— 路径：anaconda安装目录下的lib/python3.7/site-packages —— OK。如此即可使用anaconda中包含的所有Python模块。

6.设置Spark Python的链接库

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Libraries —— New Egg/Zip(s) —— 选择路径：spark家目录下的python/lib/中的pyspark.zip和py4j-*.zip两个zip包——OK。如此即可使用pyspark和spark-submit。

7.设置环境变量

依次点击Window —— Preferences —— PyDev —— Interpreter —— Python Interpreter —— Environment —— new —— Name输入：SPARK_HOME，Value输入：${SPARK_HOME}，即之前配置字符串替代量。

同理，配置环境变量：HADOOP_CONF_DIR=${HADOOP_CONF_DIR}，PYSPARK_PYTHON={PYSPARK_PYTHON}。

8.新建PyDev项目

依次点击 File —— New —— Project… —— PyDev —— PyDev Project —— next —— Project Name：PythonSpark —— Project Type：Python —— Finish。一个工程就建好了。

下面是一个WordCount.py程序：

# -*- coding: UTF-8 -*-

from pyspark import SparkContext

from pyspark import SparkConf

def SetLogger( sc ):

logger = sc._jvm.org.apache.log4j

logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )

logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

logger.LogManager.getRootLogger().setLevel(logger.Level.ERROR)

def SetPath(sc):

global Path

if sc.master[0:5]=="local" :

Path="file:/root/workspace/PythonProject/"

else:

Path="hdfs://master:9000/workspace/PythonProject/"

#如果要在cluster模式运行(hadoop yarn 或Spark Stand alone)，先把数据文件上传到HDFS目录

def CreateSparkContext():

sparkConf = SparkConf()\

.setAppName("WordCounts") \

.set("spark.ui.showConsoleProgress", "false")

sc = SparkContext(conf = sparkConf)

print("master="+sc.master)

SetLogger(sc)

SetPath(sc)

return (sc)

if __name__ == "__main__":

print("开始运行RunWordCount")

sc=CreateSparkContext()

print("开始读取文本文件...")

textFile = sc.textFile(Path+"data/README.md")

print("文本文件共"+str(textFile.count())+"行")

countsRDD = textFile \

.flatMap(lambda line: line.split(' ')) \

.map(lambda x: (x, 1)) \

.reduceByKey(lambda x,y :x+y)

print("文字统计共"+str(countsRDD.count())+"项数据")

print("开始存储到文本文件...")

try:

countsRDD.saveAsTextFile(Path+ "data/output")

except Exception as e:

print("输出目录已经存在,请先删除原有目录")

sc.stop()

9.通过外部工具运行spark-submit

依次点击：Run——External Tools——External Tools Configurations… ——Program —— 新建 —— Name：spark-submit ——Main ——Location：spark-submit的完整路径，Working Directory：

{project_name}，Arguments：–driver-memory 1g –master local[4]

{string_prompt}——run。即可以local模式提交Spark任务。其他模式类似。

10.查看结果

控制台：

开始运行RunWordCount

master=local[*]

开始读取文本文件…

文本文件共95行

文字统计共260项数据

开始存储到文本文件…

# ls data/output/

part-00000 part-00001 _SUCCESS

# head data/output/part-00000

(u'', 67)

(u'when', 1)

(u'R,', 1)

(u'including', 3)

(u'computation', 1)

(u'using:', 1)

(u'guidance', 2)

(u'Scala,', 1)

(u'environment', 1)

(u'only', 1)

# head data/output/part-00001

(u'help', 1)

(u'Hadoop', 3)

(u'high-level', 1)

(u'find', 1)

(u'web', 1)

(u'Shell', 2)

(u'how', 2)

(u'graph', 1)

(u'run:', 1)

(u'should', 2)