Python & Spark学习笔记系列 【第一章】环境搭建 pyspark安装

Python语言怎么安装这里就不写了,网上有好多,IDEA安装是我按的Python插件如下图:

安装Python语言环境和插件以后,还要安装pyspark类库,因为默认Python是不带这些类库的。

这里安装遇到一个小坑,简单说下。

如果网络没问题的话可以直接cmd进入命令行,

时候输入命令pip install pyspark,就可以安装了。但是默认是pyspark的latest版本,我写帖子的时候最后一版是2.4.0但是我实际环境用的是Spark2.3.1。而且还有个严重问题,我的公司电脑有网络限制,安装命令无法现在安装包。

所以我用的办法是先把安装包下来之后本地安装。

首先进入python官网: https://www.python.org/

进入最上边的Pypi

之后搜索pyspark

出来列表里第一个就是最后一个版本2.4.0,直接点进去

之后点击release history,进可以进去选版本了。这里我下载的的是2.3.1版,选择好版本之后,点击download files,下载pyspark-2.3.1.tar.gz

下载之后,运行CMD命令。

执行命令:pip install C:\Downloads\pyspark-2.3.1.tar.gz(安装包放到哪写哪)

安装过程如下图,最后提示安装成功:

之后进入IDEA创建第一个Python_Spark程序.

引入spark相关依赖,如果不安装pyspark,下边引用语句会直接报错.

from pyspark import SparkContext, SparkConf
import os

os.environ['JAVA_HOME']='D:\Java\jdk1.8.0_92'
conf = SparkConf().setMaster("local").setAppName("test_app1")
sc = SparkContext(conf=conf)

注意这里我运行的时候报了一个下边的错,这个错误困扰了我一天,网上找就是让加上我上边的那两句话设置JAVA_HOME的那个,我设置之后一直不好使。

raise Exception("Java gateway process exited before sending its port number")
Exception: Java gateway process exited before sending its port number

最后终于发现了问题,我的JDK路径里有空格:C:\Program Files (x86)\Java,

重要事情说3遍

我的JDK路径里有空格,我的JDK路径里有空格,我的JDK路径里有空格。

后来我改成上边代码里的JDK路径,就好使了。问题解决,明天继续学习。

 

 

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页