Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上
1、首先安装Java 、Scala,然后下载spark-2.1.0-bin-hadoop2.7.tar.gz和hadoop-2.7.3.tar.gz并解压
2、分别在环境变量中添加JAVA_HOME、HADOOP_HOME、SPARK_HOME(scala在安装时会自动配置环境变量,所以在此不用考虑),截图如下:
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上
1、首先安装Java 、Scala,然后下载spark-2.1.0-bin-hadoop2.7.tar.gz和hadoop-2.7.3.tar.gz并解压
2、分别在环境变量中添加JAVA_HOME、HADOOP_HOME、SPARK_HOME(scala在安装时会自动配置环境变量,所以在此不用考虑),截图如下: