使用python代替spark-submit运行pyspark代码

最新推荐文章于 2023-02-27 15:28:54 发布

dont_curry

最新推荐文章于 2023-02-27 15:28:54 发布

阅读量478

点赞数

分类专栏： Linux Python spark

本文链接：https://blog.csdn.net/dont_curry/article/details/109239262

版权

Linux 同时被 3 个专栏收录

5 篇文章 0 订阅

订阅专栏

spark

4 篇文章 0 订阅

订阅专栏

Python

2 篇文章 0 订阅

订阅专栏

刚开始使用pyspark，写了import pyspark的代码，运行时需要spark-submit xx.py来执行xx文件。可以直接使用python来执行xx.py。需要首先安装findspark包
pip install findspark
然后在代码开始进行初始化，找到spark，详细如下：

import findspark
findspark.init()
from pyspark import SparkContext
sc = SparkContext("local", "count app")
words = sc.parallelize(
    ["scala",
     "java",
     "hadoop",
     "spark",
     "akka",
     "spark vs hadoop",
     "pyspark",
     "pyspark and spark"
     ])
counts = words.count()
print("Number of elements in RDD -> %i" % counts)