应用Eclipse编写Spark应用程序(via.Scala)

Eclipse是一种常用的集成开发环境,也支持搭建Scala语言开发环境。
本文将介绍Eclipse的配置安装,以及在Eclipse上创建Spark项目的方法。特别说明:Eclipse目前不支持Spark项目打包。
第一步,下载并解压Eclipse安装包;
第二步,下载并解压Eclipse的Scala插件安装包。
Eclipse安装步骤主要为:

  1. 解压Eclispe安装包。
    在Eclipse安装包的存放目录下,打开终端,输入命令: sudo tar zxvf eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz -C /usr/local
  2. 解压缩Scala插件压缩包update-site.zip到/usr/local目录下。
    解压命令为: sudo unzip update-site.zip -d /usr/local 解压完成以后,在/usr/local
  3. 将festures文件夹中的所有文件复制到Eclipse安装路径对应的features文件夹中。
    在/usr/local/base目录下,打开终端,输入命令: sudo cp -R features/* /usr/local/eclipse/features
  4. 将plugins文件夹中的所有文件复制到Eclipse安装路径的plugins文件夹中。
    输入命令: sudo cp -R plugins/* /usr/local/eclipse/plugins
  5. 重新启动Eclipse。出现图示的弹窗,点击【OK】。完成安装。

Eclipse进行Spark应用程序开发的步骤分为三步:
1. 启动Eclipse;
在Eclipse的安装目录下(本书为“/usr/local/eclipse”),打开终端,执行命令:./eclipse。出现设置工作空间(项目存放位置)的窗口。本书选择默认路径,也可以点击【Browse…】设置工作空间的路径。设置完成以后,点击【Launch】按钮进入Eclipse主界面。
2.建立项目,添加依赖;
(1)依次点击菜单栏中 的【File】>>【New】 >>【Other】。或者 直接点击菜单栏下方的快捷按钮选项【New】。打开如图所示界面。
在这里插入图片描述

(2)点击【Scala Wizards】,出现如图所示选择页面。
在这里插入图片描述
(3)选择【Scala Project】并点击【Next】进入如图所示的项目名称、项目存放位置等设置界面。
在这里插入图片描述(4)设置信息以后,点击【Next】,进入项目依赖jar包设置界面。选择【Libraries】,然后点击右侧的【Add External JARs…】
(5)在路径选择窗口中,选择Spark安装目录下的jars文件夹,添加jars文件下的全部jar包。
3.编写程序;
(1)右键选中eclipseSparkTest/src文件夹,创建package。方法为:依次点击 【New】>>【Package】,设置包名称,最后点击【Finish】。
(2)右键包文件夹创建Scala文件。依次点击【New】>>【Others】>>【Scala Wizards】>>【Scala Object】,类命名,最后点击【Finish】,完成Scala类的创建。
4.编译并运行。
(1)点击菜单栏快捷选项框的运行按钮,如图所示。完成编译。 (2)点击如图所示的运行按钮右侧的箭头。在下拉框中,选择【Run Configurations…】。在弹出的配置界面设置运行程序的名称和参数。双击左侧选项框中的【Scala Application】,右侧面板会出现应用程序名称和参数的设置界面。
(3)在【Name】框中,设置运行程序的名称。在【Program arguments】框中,设置参数。实例代码args(0)表示输入文件路径,填写“file:///usr/local/sparkwc”。设置完成以后,点击【Run】运行程序,在控制台出现运行结果:
(scala,1) (spark,3) (hadoop,1) (R,1) (python,1) (hello,2) (java,1)

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值