第8课：彻底实战详解使用IDE开发Spark程序

最新推荐文章于 2024-08-07 16:15:41 发布

一叶扁舟yis

最新推荐文章于 2024-08-07 16:15:41 发布

阅读量657

点赞数

分类专栏： Spark学习文章标签： spark scala

本文链接：https://blog.csdn.net/Diamonds_ys/article/details/52315977

版权

本教程详细讲解如何在IDE中利用Scala开发Spark WordCount程序。步骤包括配置Scala版本，添加Spark 1.6 jar依赖，创建工程结构，编写Scala主类，并在本地运行测试。在集群上运行程序，需要导出JAR文件，通过脚本或直接在Ubuntu系统执行。

摘要由CSDN通过智能技术生成

本地安装好java和scala并创建工程WordCount
第一步：修改依赖的Scala版本为Scala 2.10.x(改为本地对应版本)
第二步：加入spark 1.6 jar文件依赖
第三步：找到依赖的spark jar文件，并导入到eclipse中的jar依赖
第四步：在src下建立spark工程包
第五步：创建Scala入口类
第六步：把class 变成 object 并编写main入口方法

使用Scala开发本地测试的Spark WordCount程序

package spark
//使用Scala开发本地测试的Spark WordCount程序
import org.apache.spark.SparkConf 

object workcount {
  def main(args:Array[String]){
   // 第一步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息。
          //例如说通过setMaster来设置程序要链接的Spark集群的Master的URL，如果设置为local，则代替Spark程序在本地运行，特别适合于机器配置条件非常差（只有1G的内存）的初学者。

    val conf = new SparkConf();//创建SparkConf对象
    conf.setAppName("First Spark App!!!") //设置应用程序的名称，在程序运行的监控界面可以看到名称
    //conf.setMaster("local") //此时，程序在本地运行，不需要安装Spark集群
    //第二步：创建SparkContext对象SparkContext是Spark程序所有功能的唯一入口，无论是采用Scala、Java、Python、R等都必须有一个S