Spark初学者配置windows10下的开发环境

原创 2017年05月19日 17:23:58
        Spark初学者配置windows10下的开发环境

在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用的是2.1.1版本。这里送上我自己找的资源百度网盘资源,文件列表:
这里写图片描述
有功夫的也可以自己下载自己会用的资源,其中sbt这个工具是打算用scala来开发的人使用的。
现在说说具体步骤:

  1. 解压hadoop与spark到一英文路径的文件夹下(可以解压到不同的文件夹,但是必须是英文路径),并将winutils.exe放到hadoop下的bin文件夹下,如图:
    这里写图片描述
  2. 设置hadoop和spark的系统变量到环境变量中,并将这两个的bin路径加到PATH系统变量中,实际上不配也没关系。这里就不细说了。
  3. 使用Java开发就安装配置maven(这里不细说),使用scala开发就安装配置sbt,sbt安装就像安装游戏一样一直默认选项安装就可以,在使用idea时要配置相应的本地路径:(settings ⇒ Build,Execution,Deployment ⇒ Build Tools)
    在IDEA中maven的配置
    在IDEA中SBT的配置
    这里提供一下maven的国内源:
<mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

这一段复制进“<自己的路径>\apache-maven-3.3.9\conf\settings.xml”文件中,替换<mirrors>标记。
也提供个sbt的国内源,不过这里要先用idea创建一个基于sbt的scala项目,过上一段时间关闭该项目,在C:\Users\<登录机子的用户名>文件夹下可以看到这两个文件夹
这里写图片描述
解压sbt_jars.zip也可以看见这两个文件,用解压得到的文件夹替换这两个文件夹,这时在使用idea中的sbt用的就是国内的镜像了。

代码这里不在描述,点击这里下载代码,0积分,毕竟是很简单的案例,只是需要注意,使用要在main方法下加入这段代码:System.setProperty("hadoop.home.dir","D:\\SystemEnvironment\\hadoop-2.7.3"); 程序才能正确运行,scala与Java都是加这段代码。“D:\SystemEnvironment\hadoop-2.7.3”是你的hadoop解压的路径,见本文第二个图。

*注意:该配置完毕后没有必要安装虚拟机配置hadoop环境就可以直接在idea上开发运行,一开始我不知道吃了不少的亏,还有如果打算配置linux下的hadoop环境建议使用ubuntu桌面版,不要使用centos7,小编使用centos7配置成功的概率低的不敢想象,Ubuntu桌面版就没失手过,这里推荐几个博客都是单机搭建hadoop环境的案例,很不错:

http://blog.csdn.net/uq_jin/article/details/51451995
http://blog.csdn.net/celeste7777/article/details/53375253

版权声明:本文为博主原创文章,未经博主允许不得转载。

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、...
  • tianlianchao1982
  • tianlianchao1982
  • 2016年04月23日 09:15
  • 7545

【亲测】windows 10 下安装spark

一.【前言】最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳...
  • yaoqiwaimai
  • yaoqiwaimai
  • 2017年03月01日 18:14
  • 4690

window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通

作为一名初入spark编程的初级工程师,在工作中总是会有一些程序需要先在自己的spark环境下试跑,所以需要自己在自己电脑中安装自己的spark运行环境以及开发,方便用于调试,还可以时不时的测试一下A...
  • nju_mc
  • nju_mc
  • 2017年02月09日 20:12
  • 1941

Spark在Windows下的环境搭建

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar...
  • u011513853
  • u011513853
  • 2016年10月19日 23:40
  • 46789

Spark环境搭建-windows

Spark环境搭建-windows
  • Roserug
  • Roserug
  • 2017年08月06日 23:23
  • 680

windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)

**关键字**: spark windows安装,spark运行环境,idea普通模式构建spark程序,idea maven构建spark程序,idea运行wordcount...
  • T1DMzks
  • T1DMzks
  • 2017年04月04日 00:50
  • 4084

windows下运行spark程序

linux普通用户开发spark程序时,由于无法使用IDEA的图形化操作界面,所以只能大包围jar,用spark-submit提交,不是很方便, spark的local模式可以方便开发者在本地调试代码...
  • funny75
  • funny75
  • 2016年02月04日 18:10
  • 1583

spark开发环境搭建(基于idea 和maven)

使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步: scala插件...
  • u012373815
  • u012373815
  • 2016年11月22日 00:26
  • 12507

Intellij搭建spark开发环境

spark怎么学习呢?在一无所知的前提下,首先去官网快速了解一下spark是干什么的,官网在此。然后,安装开发环境,从wordcount开始学习。第三,上手以后可以学习其他算法了。最后,不要放弃,继续...
  • pirage
  • pirage
  • 2015年12月08日 11:18
  • 17055

Spark修炼之道(进阶篇)——Spark入门到精通:第三节 Spark Intellij IDEA开发环境搭建

作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond 本节主要内容 Intellij IDEA 14.1.4开发环境配置 Spark应用程序开发 1. Intell...
  • lovehuangjiaju
  • lovehuangjiaju
  • 2015年09月19日 21:21
  • 11684
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark初学者配置windows10下的开发环境
举报原因:
原因补充:

(最多只允许输入30个字)