关闭

u013340439的专栏

2
原创
2
转载
0
译文
1
评论
1532
访问

2017五月
19

Spark初学者配置windows10下的开发环境

        Spark初学者配置windows10下的开发环境

在这里我就不描述在jdk的配置,我的jdk用的是jdk-8u131。首先下载hadoop和spark,hadoop用的是2.7.3版本,spark用的是2.1.1版本。这里送上我自己找的资源百度网盘资源,文件列表:
这里写图片描述
有功夫的也可以自己下载自己会用的资源,其中sbt这个工具是打算用scala来开发的人使用的。
现在说说具体步骤:

  1. 解压hadoop与spark到一英文路径的文件夹下(可以解压到不同的文件夹,但是必须是英文路径),并将winutils.exe放到hadoop下的bin文件夹下,如图:
    这里写图片描述
  2. 设置hadoop和spark的系统变量到环境变量中,并将这两个的bin路径加到PATH系统变量中,实际上不配也没关系。这里就不细说了。
  3. 使用Java开发就安装配置maven(这里不细说),使用scala开发就安装配置sbt,sbt安装就像安装游戏一样一直默认选项安装就可以,在使用idea时要配置相应的本地路径:(settings ⇒ Build,Execution,Deployment ⇒ Build Tools)
    在IDEA中maven的配置
    在IDEA中SBT的配置
    这里提供一下maven的国内源:
<mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
    </mirror>
  </mirrors>

这一段复制进“<自己的路径>\apache-maven-3.3.9\conf\settings.xml”文件中,替换<mirrors>标记。
也提供个sbt的国内源,不过这里要先用idea创建一个基于sbt的scala项目,过上一段时间关闭该项目,在C:\Users\<登录机子的用户名>文件夹下可以看到这两个文件夹
这里写图片描述
解压sbt_jars.zip也可以看见这两个文件,用解压得到的文件夹替换这两个文件夹,这时在使用idea中的sbt用的就是国内的镜像了。

代码这里不在描述,点击这里下载代码,0积分,毕竟是很简单的案例,只是需要注意,使用要在main方法下加入这段代码:System.setProperty("hadoop.home.dir","D:\\SystemEnvironment\\hadoop-2.7.3"); 程序才能正确运行,scala与Java都是加这段代码。“D:\SystemEnvironment\hadoop-2.7.3”是你的hadoop解压的路径,见本文第二个图。

*注意:该配置完毕后没有必要安装虚拟机配置hadoop环境就可以直接在idea上开发运行,一开始我不知道吃了不少的亏,还有如果打算配置linux下的hadoop环境建议使用ubuntu桌面版,不要使用centos7,小编使用centos7配置成功的概率低的不敢想象,Ubuntu桌面版就没失手过,这里推荐几个博客都是单机搭建hadoop环境的案例,很不错:

http://blog.csdn.net/uq_jin/article/details/51451995
http://blog.csdn.net/celeste7777/article/details/53375253

img

u013340439

等级:

排名:千里之外

博客专栏
文章分类
文章存档
阅读排行
评论排行
推荐文章
最新评论
img