Pycharm开发spark程序
使用pycharm连接spark开发python程序。
1.Pycharm本地开发spark程序
1.安装Java
安装Java8 64bit,安装目录是 C:\Java
,注意,安装目录不要有空格,也不要有中文这些,不然会出现不可预知的错误。
配置环境变量
JAVA_HOME : C:\Java\jdk8
CLASSPATH : .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; (注意开始是有一点的,分号结尾)
PATH : ;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; (记得分号结尾)
在cmd中输入 javac 或java –version 查看安装情况。
2.安装scala
spark是是用scala开发的,安装scala环境,对spark的支持会好些。
scala的版本是有要求的,spark2之后是用的scala2.11,scala2.10和2.10