spark调用python代码_python运行spark脚本程序

两种方法：

使用 spark-submit 解释执行python脚本

使用 python 解释执行python脚本

1. 使用Spark-submit解释执行python脚本

python脚本中需要在开头导入spark相关模块，调用时使用spark-submit提交，示例代码如下：

"""odflow.py"""

from pyspark import SparkContext

fileDir = "/TripChain3_Demo.txt"

# sc = SparkContext("local", "ODFlow")

sc = SparkContext("spark://ITS-Hadoop10:7077", "ODFlow")

lines = sc.textFile(fileDir)

# python不能直接写多行的lambda表达式，所以要封装在函数中

def toKV(line):

arr = line.split(",")

t = arr[5].split(" ")[1].split(":")

return (t[0]+t[1]+","+arr[11]+","+arr[18],1)

r1 = lines.map( lambda line : toKV(line) ).reduceByKey(lambda a,b: a+b)

# 排序并且存入一个(repartition)文件中

r1.sortBy