Spark学习一：搭建基于Gradle和Scale的Spark工程

现代软件开发中必须使用的一个开发工具是自动化构建工具，可以方便的划分软件的目录结构、编译、执行测试以及生成测试报告等，因此一开始学习Spark时也是按照标准的开发过程。

不管学习什么语言还是框架，第一个程序都是HelloWorld，因此我第的一个Spark程序是HelloSpark。接下来一步一步介绍基于gradle和scala的HelloSpark工程的建立过程。

详细步骤

• 下载Spark安装包，请参考http://spark.apache.org/docs/latest/
• 使用IntelliJ IDEA工具构建一个空的gradle工程，构建的结果如下：
  
• 在空的gradle工程中添加src/main/scala和src/test/scala目录
• 修改build.gradle如下：

plugins {
    id 'idea'
    id 'scala'
}

group 'com.learning.spark'
version '1.0-SNAPSHOT'

sourceCompatibility = 1.8

repositories {
    mavenCentral()
}

sourceSets {
    main {
        scala {
            srcDirs = ['src/main/scala']
        }
    }

    test {
        scala {
            srcDirs = ['src/test/scala']
        }
    }
}

dependencies {
    implementation 'org.scala-lang:scala-library:2.11.12'

    //saprk dependencies
    implementation 'org.apache.spark:spark-core_2.11:2.4.0'

    testImplementation 'org.scalatest:scalatest_2.11:3.0.0'
    testImplementation 'junit:junit:4.12'
    testCompile group: 'junit', name: 'junit', version: '4.12'
}

• 用gradle命令将工程打包成jar，如下：

./gradlew jar

• 将jar包考到Spark环境中，执行如下命令执行jar包：

spark-submit --class com.selflearning.spark.HelloSpark HelloSpark-1.0-SNAPSHOT.jar ./README.md  ./output

源代码

请从HelloSpark下载源代码。