SCALA_IDE开发Spark程序

本文介绍了如何在Windows环境下配置Scala环境,包括设置SCALA_HOME、PATH和CLASSPATH变量,以及如何下载并安装Scala IDE。接着,文章详细讲解了在Scala IDE中配置Spark 1.6.0的依赖,创建Spark工程,编写Scala入口类,以及在本地和集群模式下运行Spark程序的步骤。此外,还提到了打包和运行脚本的方法。
摘要由CSDN通过智能技术生成

IDEA Eclipse
下载scala
下载地址
这里写图片描述
scala.msi
scala环境变量配置
(1)设置SCALA-HOME变量:如图,单击新建,在变量名一栏输入: SCALA-HOME 变量值一栏输入: D:\Program Files\scala 也就是scala的安装目录,根据个人情况有所不同,如果安装在E盘,将“D”改成“E”即可。
(2)设置path变量:找到系统变量下的“path”如图,单击编辑。在“变量值”一栏的最前面添加如下的 code: %scala_Home%\bin;%scala_Home%\jre\bin; 注意:后面的分号 ; 不要漏掉。
(3)设置classpath变量:找到找到系统变量下的“classpath”如图,单击编辑,如没有,则单击“新建”,
“变量名”:ClassPath “变量值“:
.;%scala_Home%\bin;%scala_Home%\lib\dt.jar;%scala_Home%\lib\tools.jar.; 注意:“变量值”最前面的 .; 不要漏掉。最后单击确定即可。
这里写图片描述
下载scala ide,scal-SDK-4.4.1-vfinal-2.11-win32.win32.x86.64.zip
下载地址
这里写图片描述
下载后解压,点击Eclipse,运行

第一步:修改依赖的Scala版本为Scala 2.10.x(默认2.11.7,要做修改)
这里写图片描述
这里写图片描述
这里写图片描述

第二步:加入Spark 1.6.0的jar文件依赖
下载spark对应的jar包,点击4,下载spark-1.6.1-bin-hadoop2.6.tgz
这里写图片描述
下载地址
这里写图片描述
下载Spark,在lib中找到依赖文件
这里写图片描述
第三步:找到依赖的Spark Jar文件并导入到Eclipse中的Jar依赖
这里写图片描述
这里写图片描述
第四步:在src下建立Spark工程包

  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 7
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值