Windows下单机安装Spark开发环境

转载 2016年04月23日 09:15:07

机器:windows 10 64位。

因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。

1、Java下Spark开发环境搭建

1.1、jdk安装

安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。

同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。

1.2 spark环境变量配置

去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6

解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop工具包安装

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。

1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz

1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0

1.4 eclipse环境

直接新建java工程,将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。

2、Python下Spark开发环境搭建

2.1 安装python,并添加到系统变量path中:C:\Python27和C:\Python27\Scripts

2.2 重复1.2和1.3步骤

2.3 将spark目录下的pyspark文件夹(D:\spark-1.6.0-bin-hadoop2.6\python\pyspark)复制到python安装目录C:\Python27\Lib\site-packages里

2.5 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。

2.4 安装pycharm开始编程吧。

window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通

作为一名初入spark编程的初级工程师,在工作中总是会有一些程序需要先在自己的spark环境下试跑,所以需要自己在自己电脑中安装自己的spark运行环境以及开发,方便用于调试,还可以时不时的测试一下A...
  • nju_mc
  • nju_mc
  • 2017年02月09日 20:12
  • 1709

Spark初学者配置windows10下的开发环境

Spark初学者配置windows10下的开发环境 在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用...
  • u013340439
  • u013340439
  • 2017年05月19日 17:23
  • 2098

Windows下单机安装scala-Spark开发环境

part1:版本信息 (1)系统:Win7或Win10 (2)jdk版本 版本:1.7.0_60 (3)spark版本  spark-1.6.1-bin-hadoop2.6.tgz h...
  • u010035907
  • u010035907
  • 2017年04月23日 23:26
  • 1410

Windows下单机安装Spark开发环境

Windows下单机安装Spark开发环境 http://www.cnblogs.com/eczhou/p/5216918.html  因Spark支持java、python等语言,所以尝...
  • sinat_26230689
  • sinat_26230689
  • 2016年06月14日 22:20
  • 1007

(大数据)转载:Windows下单机安装Spark开发环境

转载自:http://www.cnblogs.com/eczhou/p/5216918.html 机器:windows 10 64位。 因Spark支持java、pyt...
  • shisjj11
  • shisjj11
  • 2016年08月24日 09:58
  • 387

Windows下单机安装Spark开发环境

Windows下单机安装Spark开发环境 机器:windows 7 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java...
  • u012328712
  • u012328712
  • 2016年09月23日 15:06
  • 270

Windows下Spark python 单机开发环境

Spark提供的pyspark可以像scala shell一样提供交互式的开发,本文介绍在windows下单机环境下的pyspark配置,当然数据量小,任务简单,条件有限的可以在单机上这样做示例,数据...
  • laowe4535fdvdsa4t6qe
  • laowe4535fdvdsa4t6qe
  • 2017年05月10日 16:19
  • 590

【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序

Java7 –系统变量 JAVA_HOME -> C:\ProgramFiles\Java\jdk1.7.0_71 CLASSPATH ->%JAVA_HOME%\lib\dt.jar;%JAVA_H...
  • lixiaowang_327
  • lixiaowang_327
  • 2016年04月20日 11:03
  • 1522

Windows10 Spark单机开发环境的搭建(Python)

之前一直是在单机写Spark程序,写完拿到服务器上运行,但是本地调试程序很不方便。本文旨在Window环境下搭建简单的Spark程序开发端,方便开发,可以在本地写代码的时候调试。...
  • qq_28034559
  • qq_28034559
  • 2017年04月29日 14:41
  • 166

mac 单机 搭建 eclipse spark开发环境

在 mac初步搭建eclipse开发spark 程序环境,并以wordcount为例,分别使用scala和java语言进行开发 软件准备: 1.Eclipse IDE for Java EE Deve...
  • wxzyhx1009
  • wxzyhx1009
  • 2016年06月10日 10:45
  • 1360
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Windows下单机安装Spark开发环境
举报原因:
原因补充:

(最多只允许输入30个字)