Spark编程: 编写独立应用程序实现数据去重 2020.10.16

最新推荐文章于 2023-05-30 11:41:23 发布

_大木_

最新推荐文章于 2023-05-30 11:41:23 发布

阅读量5.8k

点赞数 5

文章标签： spark

本文链接：https://blog.csdn.net/beyond_nothing/article/details/109118958

版权

Spark & Scala 专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍了如何使用Apache Spark进行数据处理，从创建目录结构、配置Spark环境到运行dhlTest Scala脚本，一步步指导读者完成一个简单的DHL数据清洗和分析任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- 实现步骤

独立运行文件: dhlTest.scala

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object dhlTest {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("BeyondNothing_dhl")
    val sc = new SparkContext(conf)

    //获取数据
    val DHLtwo = sc.textFile("file:///usr/local/spark/dhlTest")
    DHLtwo.filter(_.trim().length>0) //trim()函数返回空格个数
        .map(line=>(line.trim,""))
          .groupByKey()
              .sortByKey() //按key value的自然顺序排序
                  .keys.collect().foreach(println)
  }
}

在这里插入图片描述

实现步骤

1.建立目录结构

mkdir ./dhlTest  # 创建应用程序根目录
mkdir -p ./dhlTest/src/main/scala   #创建所需的文件夹结构

2.添加配置信息

在sparkapp目录下创建文件 simple.sbt 并且添加如下内容:

name := "dhl_BeyondNothing"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"

3.导入代码文件(dhlTest.scala)

将代码文件放在scala目录下:
在这里插入图片描述

4.在/usr/local/spark/dhlTest 路径下创建文件

在这里插入图片描述

5.打包并运行

在这里插入图片描述

编译打包

/usr/local/sbt/sbt package

运行

/usr/local/spark/bin/spark-submit --class "dhlTest" ~/dhlTest/target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "2017"

在这里插入图片描述