大数据时代--windows下spark的安装与配置教程

 Spark作为一个基于内存的开源计算框架,在这个大数据时代背景下,受到越来越多的开发者的喜爱,相对于Hadoop,Spark拥有对大量数据更快的处理速度,并且易于使用(支持多种开发语言)。比Hadoop具有更多的优点,怎能不让人想去尝试一下Spark的魅力呢?
 了解Spark的都知道Spark是用Scala写的,那么要想在windows下来运行Spark少不了的就要先安装Scala。
首先的在一个大前提下就是我们本机已经安装并配置好JDk环境变量了。
那么,我们就可以安装Scala了

一、安装Scala
下载地址:http://www.scala-lang.org/download/all.html

这里写图片描述

进入页面后选择一个Scala版本进行下载,我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的,比如说你的Scala版本是2.12.0,那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本。这种说法不知道准不准确,但是还是注意一下比较好。
Scala安装好之后呢,它会自动在环境变量PATH里面配置。我们不需要进行手动配置了。下面就打开cmd输入Scala看下安装后控制台的输出效果。这里写图片描述
如果出现一下信息,那么就证明Scala已经安装成功了。
需要注意的是:如果在控制台输入scala之后输出没有出现版本信息,那么就需要你手动替换掉安装Scala时自动配置的变量。

既然Scala已经安装成功了, 那么我们就可以继续安装我们的主角Spark了
二、安装Spark
同样的我会附上Spark下载地址:http://spark.apache.org/downloads.html
这里写图片描述
这里引用了别人的一张图片,因为公司网络有限制,导致访问页面布局错误,所以网上找了一张图片来给大家展示一下。

那么,当我们下载好之后,Spark是不需要进行安装的,直接解压到Spark目录,然后配置一下Path环境变量就可以了
这里写图片描述
我的Spark目录为E:\spark\bin
下面我们来验证一下看spark是否能正常启动。
在控制台输入一下命令:spark-shell
注意spark-shell之间是没有空格的,千万不要输错了。
情况看图片
这里写图片描述
到这里就说明我们的准备工作已经做完了吗?显然不是,虽然控制台已经输出了Spark信息,但是并不是已经完全ok的,等待10秒钟左右控制台会继续输出信息。如下
这里写图片描述
看到图中报错信息是不是快要崩溃了?别着急,听我慢慢道来
这里主要是因为Spark是基于Hadoop的,所以这里也有必要配置一个Hadoop的运行环境。
三、Hadoop下载
地址:https://archive.apache.org/dist/hadoop/common/
进去之后尽量往下翻,越是下面的版本越新。
这里写图片描述
由于我们之前选择下载spark的时候是基于Hadoop2.6版本的,所以我这里选择的是hadoop2.6.4版本
下载完毕后我们直接解压,解压完毕后开始设置我们的环境变量
需要设置的变量有
HADOOP_HOME:E:\hadoop-2.6.4 (解压目录)
PATH:E:\hadoop-2.6.4\bin
上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志,那么请找到你的hadoop\bin目录找下里面有没有winutils.exe文件,如果没有的话,我们需要去下载。
winutils.exe下载地址https://github.com/steveloughran/winutils
进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:\hadoop-2.6.4\bin 里面,确保该目录中有winutils.exe文件。

这里写图片描述

那么下面就需要在控制台输入一下命令来修改权限

E:\hadoop-2.6.4\bin\winutils.exe chmod 777 /tmp/hive

注意该命令需要根据你实际的hadoop所在目录。
好了,经过这么多的准备工作,我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。
这里写图片描述
这里写图片描述
如果你看到上诉两图所圈住的日志信息,那么,恭喜您,spark已经安装成功了!

评论 22
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Silence-wen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值