pycharm 远程连接运行pyspark

最新推荐文章于 2024-10-30 19:23:15 发布

晚点吧

最新推荐文章于 2024-10-30 19:23:15 发布

阅读量1k

点赞数

分类专栏：推荐系统文章标签： pyspark prcharm 远程连接 spark

本文链接：https://blog.csdn.net/weixin_42529756/article/details/114229364

版权

推荐系统专栏收录该内容

25 篇文章 1 订阅

订阅专栏

本文介绍如何在PyCharm中配置Spark2.0环境，包括设置SSH Interpreter、复制pyspark文件夹、定义环境变量JAVA_HOME、PYSPARK_PYTHON及SPARK_HOME等步骤，并给出一个简单的WordCount示例。

摘要由CSDN通过智能技术生成

pycharm 新建项目，添加如下远程 ssh interpreter 解释器，输入连接要连接的host 和username
将linux 中spark 下的pyspark 复制到python 中

由于是spark2.0 因此只支持python3.5以下

cp -r /home/software/spark-2.0.1-bin-hadoop2.7/python/pyspark /usr/local/python3.5/lib/python3.5/site-packages/

3. 在pycharm 中编写code，添加JAVA_HOME PYSPARK_PYTHON SPARK_HOME变量为linux 中对应的环境变量，

import os
JAVA_HOME = '/home/software/jdk1.8.0_141'
PYSPARK_PYTHON = "/usr/bin/python3.5"
SPARK_HOME='/home/software/spark-2.0.1-bin-hadoop2.7'
os.environ["SPARK_HOME"] = SPARK_HOME
os.environ["JAVA_HOME"] = JAVA_HOME
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON

from pyspark import SparkContext
if __name__ == '__main__':
    #创建spark context
    sc = SparkContext('local[2]','wordcount')
    #通过spark context 获取rdd
    rdd1 = sc.textFile('file:///root/tmpdata/test.txt')
    rdd2 = rdd1.flatMap(lambda line:line.split())
    rdd3 = rdd2.map(lambda x:(x,1))
    rdd4 = rdd3.reduceByKey(lambda x,y:x+y)
    print(rdd4.collect())

4 运行结果