pycharm运行spark程序

使用pycharm运行pyspark有两种方法：

临时运行方法：一是在运行程序中加载一些环境变量信息

永久配置方法：二是在pycharm软件中配置一些环境变量信息

 

1.Pycharm运行spark程序方法1：每次都需在程序中配置相关路径

本人ubuntu相关软件安装的路径：

spark：/usr/local/spark

java_jdk:/usr/lib/jvm/jdk1.8.0_162

 

 

新建一个py文件输入以下内容：

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME'] = "/usr/local/spark"   #根据自己的spark路径配置
os.environ['JAVA_HOME']='/usr/lib/jvm/jdk1.8.0_162'    #根据自己的jdk路径配置 ，不加这句话会导致以下错误

 

# You might need to enter your local IP   #不知道什么时候有用？
# os.environ['SPARK_LOCAL_IP']="192.168.2.138"

# Path for pyspark and py4j   #加载pyspark和py4j这两个文件
sys.path.append("/usr/local/spark/python")
sys.path.append("/usr/local/spark/python/lib/py4j-0.10.7-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf

    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

sc = SparkContext('local')
words = sc.parallelize(["scala", "java", "hadoop", "spark", "akka"])
print(words.count())

以上代码在每一个单独的py程序都需要添加。

 

成功运行便会出现以下画面：

 

解决pycharm中spark无法自动补全问题：https://blog.csdn.net/sa726663676/article/details/113540095

 

 

2.Pycharm运行spark程序方法2：在IDE中仅一次配置相关路径

未实验

 

以上内容部分参考自：https://blog.csdn.net/cds86333774/article/details/51264073