Spark初学者配置windows10下的开发环境
        Spark初学者配置windows10下的开发环境

在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用的是2.1.1版本。这里送上我自己找的资源百度网盘资源,文件列表:
这里写图片描述
有功夫的也可以自己下载自己会用的资源,其中sbt这个工具是打算用scala来开发的人使用的。
现在说说具体步骤:

  1. 解压hadoop与spark到一英文路径的文件夹下(可以解压到不同的文件夹,但是必须是英文路径),并将winutils.exe放到hadoop下的bin文件夹下,如图:
    这里写图片描述
  2. 设置hadoop和spark的系统变量到环境变量中,并将这两个的bin路径加到PATH系统变量中,实际上不配也没关系。这里就不细说了。
  3. 使用Java开发就安装配置maven(这里不细说),使用scala开发就安装配置sbt,sbt安装就像安装游戏一样一直默认选项安装就可以,在使用idea时要配置相应的本地路径:(settings ⇒ Build,Execution,Deployment ⇒ Build Tools)
    在IDEA中maven的配置
    在IDEA中SBT的配置
    这里提供一下maven的国内源:
<mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

这一段复制进“<自己的路径>\apache-maven-3.3.9\conf\settings.xml”文件中,替换<mirrors>标记。
也提供个sbt的国内源,不过这里要先用idea创建一个基于sbt的scala项目,过上一段时间关闭该项目,在C:\Users\<登录机子的用户名>文件夹下可以看到这两个文件夹
这里写图片描述
解压sbt_jars.zip也可以看见这两个文件,用解压得到的文件夹替换这两个文件夹,这时在使用idea中的sbt用的就是国内的镜像了。

代码这里不在描述,点击这里下载代码,0积分,毕竟是很简单的案例,只是需要注意,使用要在main方法下加入这段代码:System.setProperty("hadoop.home.dir","D:\\SystemEnvironment\\hadoop-2.7.3"); 程序才能正确运行,scala与Java都是加这段代码。“D:\SystemEnvironment\hadoop-2.7.3”是你的hadoop解压的路径,见本文第二个图。

*注意:该配置完毕后没有必要安装虚拟机配置hadoop环境就可以直接在idea上开发运行,一开始我不知道吃了不少的亏,还有如果打算配置linux下的hadoop环境建议使用ubuntu桌面版,不要使用centos7,小编使用centos7配置成功的概率低的不敢想象,Ubuntu桌面版就没失手过,这里推荐几个博客都是单机搭建hadoop环境的案例,很不错:

http://blog.csdn.net/uq_jin/article/details/51451995
http://blog.csdn.net/celeste7777/article/details/53375253

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013340439/article/details/72549388
文章标签: windows spark
个人分类: spark入门
下一篇分享几个学习Spring Boot的不错链接
想对作者说点什么? 我来说一句

spark实战

-

学院

1970年01月01日 08:00

没有更多推荐了,返回首页

不良信息举报

Spark初学者配置windows10下的开发环境

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭