Spark初学者配置windows10下的开发环境

原创 2017年05月19日 17:23:58
        Spark初学者配置windows10下的开发环境

在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用的是2.1.1版本。这里送上我自己找的资源百度网盘资源,文件列表:
这里写图片描述
有功夫的也可以自己下载自己会用的资源,其中sbt这个工具是打算用scala来开发的人使用的。
现在说说具体步骤:

  1. 解压hadoop与spark到一英文路径的文件夹下(可以解压到不同的文件夹,但是必须是英文路径),并将winutils.exe放到hadoop下的bin文件夹下,如图:
    这里写图片描述
  2. 设置hadoop和spark的系统变量到环境变量中,并将这两个的bin路径加到PATH系统变量中,实际上不配也没关系。这里就不细说了。
  3. 使用Java开发就安装配置maven(这里不细说),使用scala开发就安装配置sbt,sbt安装就像安装游戏一样一直默认选项安装就可以,在使用idea时要配置相应的本地路径:(settings ⇒ Build,Execution,Deployment ⇒ Build Tools)
    在IDEA中maven的配置
    在IDEA中SBT的配置
    这里提供一下maven的国内源:
<mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

这一段复制进“<自己的路径>\apache-maven-3.3.9\conf\settings.xml”文件中,替换<mirrors>标记。
也提供个sbt的国内源,不过这里要先用idea创建一个基于sbt的scala项目,过上一段时间关闭该项目,在C:\Users\<登录机子的用户名>文件夹下可以看到这两个文件夹
这里写图片描述
解压sbt_jars.zip也可以看见这两个文件,用解压得到的文件夹替换这两个文件夹,这时在使用idea中的sbt用的就是国内的镜像了。

代码这里不在描述,点击这里下载代码,0积分,毕竟是很简单的案例,只是需要注意,使用要在main方法下加入这段代码:System.setProperty("hadoop.home.dir","D:\\SystemEnvironment\\hadoop-2.7.3"); 程序才能正确运行,scala与Java都是加这段代码。“D:\SystemEnvironment\hadoop-2.7.3”是你的hadoop解压的路径,见本文第二个图。

*注意:该配置完毕后没有必要安装虚拟机配置hadoop环境就可以直接在idea上开发运行,一开始我不知道吃了不少的亏,还有如果打算配置linux下的hadoop环境建议使用ubuntu桌面版,不要使用centos7,小编使用centos7配置成功的概率低的不敢想象,Ubuntu桌面版就没失手过,这里推荐几个博客都是单机搭建hadoop环境的案例,很不错:

http://blog.csdn.net/uq_jin/article/details/51451995
http://blog.csdn.net/celeste7777/article/details/53375253

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、...

window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通

作为一名初入spark编程的初级工程师,在工作中总是会有一些程序需要先在自己的spark环境下试跑,所以需要自己在自己电脑中安装自己的spark运行环境以及开发,方便用于调试,还可以时不时的测试一下A...
  • nju_mc
  • nju_mc
  • 2017年02月09日 20:12
  • 1281

【Spark】在window下搭建spark开发环境(IntelliJ IDEA)

概述本系列文章是个人的spark学习笔记。开发环境搭建说明

win10 掿建python spark开发环境.和安装hadoop环境

先说下困绕我的两个问题好了  windows 下运行spark-shell  始终不行,什么鬼 找到原因拉 在spark-class2.cmd 中 把这句话的环境改下...

spark开发环境搭建(基于idea 和maven)

使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件...

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...

【亲测】windows 10 下安装spark

一.【前言】最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳...

10分钟搭建Windows平台Spark开发环境并调试运行Naive Bayes分类程序

10分钟搭建Windows上Spark开发环境并调试运行Naive Bayes分类程序。本文改编自一篇内部培训资料,让没有接触过大数据的员工可以在10分钟内搭建好Windows上的Spark开发环境,...

windows 环境下部署spark运行环境 (包含遇到的问题和解决方法)

文中提到的hadoop可以到这里下载:windows环境运行spark部署说明文档 - 下载频道 - CSDN.NET http://download.csdn.net/detail/wlntuer/...
  • wlntuer
  • wlntuer
  • 2016年06月30日 18:03
  • 992

windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)

**关键字**: spark windows安装,spark运行环境,idea普通模式构建spark程序,idea maven构建spark程序,idea运行wordcount...
  • T1DMzks
  • T1DMzks
  • 2017年04月04日 00:50
  • 3350
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark初学者配置windows10下的开发环境
举报原因:
原因补充:

(最多只允许输入30个字)