Pycharm开发spark程序

Pycharm开发spark程序

使用pycharm连接spark开发python程序。

1.Pycharm本地开发spark程序

1.安装Java

安装Java8 64bit，安装目录是 C:\Java，注意，安装目录不要有空格，也不要有中文这些，不然会出现不可预知的错误。
配置环境变量

JAVA_HOME : C:\Java\jdk8
CLASSPATH : .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; (注意开始是有一点的，分号结尾)
PATH : ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; (记得分号结尾)

在cmd中输入 javac 或java –version 查看安装情况。

2.安装scala

spark是是用scala开发的，安装scala环境，对spark的支持会好些。
scala的版本是有要求的，spark2之后是用的scala2.11，scala2.10和2.10