Windows下单机安装Spark开发环境

转载 2016年04月23日 09:15:07

机器:windows 10 64位。

因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。

1、Java下Spark开发环境搭建

1.1、jdk安装

安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。

同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。

1.2 spark环境变量配置

去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6

解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop工具包安装

spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。

1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz

1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0

1.4 eclipse环境

直接新建java工程,将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。

2、Python下Spark开发环境搭建

2.1 安装python,并添加到系统变量path中:C:\Python27和C:\Python27\Scripts

2.2 重复1.2和1.3步骤

2.3 将spark目录下的pyspark文件夹(D:\spark-1.6.0-bin-hadoop2.6\python\pyspark)复制到python安装目录C:\Python27\Lib\site-packages里

2.5 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。

2.4 安装pycharm开始编程吧。

相关文章推荐

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...

windows下安装spark环境

windows下安装spark环境

Spark开发记录(windows环境)

作者:敖士伟 ikmb@163.comVersion 2一、按照“Spark源代码编译生成全攻略”文档搭建开发环境。二、直接SVN下载来的源码可能无法在eclipse编译通过,原因spark源代有ap...
  • ikmb
  • ikmb
  • 2009年08月22日 12:20
  • 6433

spark大数据入门(一)如何在windows下部署spark开发环境

spark机器学习:        spark现如今在大数据领域有着很重的地位,lz最喜欢的是基于spark之上的机器学习,也就是MlIB,这是基于分布式环境下的机器学习的开发库,简单的来说就是开发...

Spark在Windows下的环境搭建

spark

spark windows 单机 安装

0目标 单机windows上,运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.h...

【亲测】windows 10 下安装spark

一.【前言】最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳...

10分钟搭建Windows平台Spark开发环境并调试运行Naive Bayes分类程序

10分钟搭建Windows上Spark开发环境并调试运行Naive Bayes分类程序。本文改编自一篇内部培训资料,让没有接触过大数据的员工可以在10分钟内搭建好Windows上的Spark开发环境,...

Spark初学者配置windows10下的开发环境

Spark初学者配置windows10下的开发环境 在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用...

【Spark】在window下搭建spark开发环境(IntelliJ IDEA)

概述本系列文章是个人的spark学习笔记。开发环境搭建说明
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Windows下单机安装Spark开发环境
举报原因:
原因补充:

(最多只允许输入30个字)