Spark初学者配置windows10下的开发环境

原创 2017年05月19日 17:23:58
        Spark初学者配置windows10下的开发环境

在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用的是2.1.1版本。这里送上我自己找的资源百度网盘资源,文件列表:
这里写图片描述
有功夫的也可以自己下载自己会用的资源,其中sbt这个工具是打算用scala来开发的人使用的。
现在说说具体步骤:

  1. 解压hadoop与spark到一英文路径的文件夹下(可以解压到不同的文件夹,但是必须是英文路径),并将winutils.exe放到hadoop下的bin文件夹下,如图:
    这里写图片描述
  2. 设置hadoop和spark的系统变量到环境变量中,并将这两个的bin路径加到PATH系统变量中,实际上不配也没关系。这里就不细说了。
  3. 使用Java开发就安装配置maven(这里不细说),使用scala开发就安装配置sbt,sbt安装就像安装游戏一样一直默认选项安装就可以,在使用idea时要配置相应的本地路径:(settings ⇒ Build,Execution,Deployment ⇒ Build Tools)
    在IDEA中maven的配置
    在IDEA中SBT的配置
    这里提供一下maven的国内源:
<mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

这一段复制进“<自己的路径>\apache-maven-3.3.9\conf\settings.xml”文件中,替换<mirrors>标记。
也提供个sbt的国内源,不过这里要先用idea创建一个基于sbt的scala项目,过上一段时间关闭该项目,在C:\Users\<登录机子的用户名>文件夹下可以看到这两个文件夹
这里写图片描述
解压sbt_jars.zip也可以看见这两个文件,用解压得到的文件夹替换这两个文件夹,这时在使用idea中的sbt用的就是国内的镜像了。

代码这里不在描述,点击这里下载代码,0积分,毕竟是很简单的案例,只是需要注意,使用要在main方法下加入这段代码:System.setProperty("hadoop.home.dir","D:\\SystemEnvironment\\hadoop-2.7.3"); 程序才能正确运行,scala与Java都是加这段代码。“D:\SystemEnvironment\hadoop-2.7.3”是你的hadoop解压的路径,见本文第二个图。

*注意:该配置完毕后没有必要安装虚拟机配置hadoop环境就可以直接在idea上开发运行,一开始我不知道吃了不少的亏,还有如果打算配置linux下的hadoop环境建议使用ubuntu桌面版,不要使用centos7,小编使用centos7配置成功的概率低的不敢想象,Ubuntu桌面版就没失手过,这里推荐几个博客都是单机搭建hadoop环境的案例,很不错:

http://blog.csdn.net/uq_jin/article/details/51451995
http://blog.csdn.net/celeste7777/article/details/53375253

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通

作为一名初入spark编程的初级工程师,在工作中总是会有一些程序需要先在自己的spark环境下试跑,所以需要自己在自己电脑中安装自己的spark运行环境以及开发,方便用于调试,还可以时不时的测试一下A...

ubuntu1404_64单机安装Hadoop2.7.3

JDK、Hadoop、Hive官网下载 http://hadoop.apache.org/releases.html http://www.apache.org/dyn/closer.cgi/hi...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Hadoop2.7.2之集群搭建(单机)

首先新建一台虚拟主机,如果你还不会请参考 Vm配置安装CentOS-7-Minimal 然后安装JAVA运行环境,如果你还不会请参考 CentOS7 安装 Java 8 以及Tomcat8 开...

Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、...

【亲测】windows 10 下安装spark

一.【前言】最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳...

Windows10下的Android开发环境配置(Eclipse)

准备资源目录 JDK(Java Development Kit):Java 语言的软件开发工具包,是整个Java开发的核心,它包含了Java的运行环境,Java工具和Java基础类库。...

Windows10下Java Web 开发环境的配置

Windows10下Java Web 开发环境的配置由于经常性遗忘,所以整理一下 Java Web 开发环境的搭建与配置Windows下 JDK 的下载安装及配置 Windows 下 Tomcat ...

Spark开发环境配置(windows/Intellij IDEA 篇)

Intellij IDEA是一个蛮不错的IDE,在java/scala/Groovy领域深得人心。笔者之前使用的是Eclipse那一套开发环境,虽然也不错,但忍不住好奇心的驱使,折腾了一下IDEA,发...

Windows10下搭建Android开发环境

本人虽然是IT从业者,也拥有CSDN帐号多年,但是刚刚开通博客,刚刚开始摆弄Android,错误之处还请指正,谢谢~ 假定本文的读者为会写Java.HelloWorld的同学 文章所述过程为历时2...

在Windows 7/8/10下安装Python开发环境 以及对git的理解与简易使用

装Lantern等软件翻墙 装python 根据电脑的操作系统选择相应的python安装包 python installer 自带pip包管理器,所有一般情况下不需要在安装一遍pip包管理器...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)