IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)

版权声明:本博客文章均由博主从互联网及各类书本资料收集加以自己理解、整理,如需转载请注明出处! https://blog.csdn.net/feloxx/article/details/52079354
开发环境配置
目前开发环境为
scala-2.10.4
sbt-0.13.8

一般我习惯直接把这些解压到C盘
JAVA_HOME
C:\Java\jdk1.8.0_45

SBT_HOME
C:\sbt-0.13.8

SCALA_HOME
C:\scala-2.10.4

配置到环境变量path中
;%SCALA_HOME%\bin;%SBT_HOME%\bin

;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

配置完成后,在cmd中判断







代码编写,编译打包
新建SBT工程


配置工程信息,选择好指定SBT版本,scala版本
勾选use auto-import(自动导入)




根据需要修改build.sbt中的内容,例如


也可以等待下面的包导入结束

在scala目录创建一个包,名字根据实际要求来


再在这个包上创建一个scala类


写个wordcount测试


使用sbt编译打包,首先点击sbt console,然后点击绿色箭头启动


启动sbt


执行package开始打包(打包的同时也会编译)


出现success证明打包完毕


一般可以在工程文件夹的,target目录->scala版本目录中找到打好的jar包







实际spark环境中测试
将jar包传到spark环境的系统中


这是一段wordcount的代码,开始执行
执行命令格式

YOUR_SPARK_HOME/bin/spark-submit \      这个地方我们配置好环境变量后可以直接写 spark-submit
--master spark://cloud138:7077 \                  spark集群的地址
--class 包名.类名                            
jar包名.jar 后面跟输入 输出

spark-submit --master spark://cloud138:7077 --class com.tescomm.test.test test2_2.10-1.0.jar 1.cx cxtest2



检查输出目录


检查结果 












阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页