第一个在Python 环境中开发的Spark应用示例

最新推荐文章于 2023-04-16 12:12:30 发布

weixin_34221276

最新推荐文章于 2023-04-16 12:12:30 发布

阅读量147

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/cppblog/blog/469321

版权

2019独角兽企业重金招聘Python工程师标准>>>

# -*- coding:utf-8 -*-
'''
1, 从网站上下载spark
2, py4j和pyspark这两个库放到Python环境中，
'''
import os
os.environ['SPARK_HOME'] = r'E:\Dev\spark-1.4.0-bin-hadoop2.6'
from pyspark import SparkContext, SparkConf

appName ="jhl_spark_1" #你的应用程序名称
#Master URLs， 参见http://spark.apache.org/docs/latest/submitting-applications.html#master-urls
master= "local" 
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print (res)

转载于:https://my.oschina.net/cppblog/blog/469321