在研究pyspark的过程中,我遇到了这样的错误:
Exception: Java gateway process exited before sending its port number
原来是没有声明pyspark的jdk包,我们需要在代码中添加这样的代码:
import os
os.environ['JAVA_HOME']='D:\jdk11'
这样就可以完美运行
整体代码如下:
from pyspark import SparkContext
import os
os.environ['JAVA_HOME']='D:\jdk11'
sc=SparkContext()
lines=sc.textFile("test.txt")
print(lines.first())