Linux环境下编写Spark应用程序对HDFS中的包含jpg请求的日志文件进行计数 (Scala)

最新推荐文章于 2022-10-23 11:14:08 发布

Cheengvho

最新推荐文章于 2022-10-23 11:14:08 发布

阅读量284

点赞数

分类专栏： Linux HDFS Spark 文章标签： Spark RDD HDFS Maven Linux

本文链接：https://blog.csdn.net/m0_37890482/article/details/81166417

版权

本文介绍了如何在Linux环境中使用Scala编写Spark应用程序，针对HDFS中的包含jpg请求的日志文件进行计数。首先，详细说明了代码所在的目录结构和`CountJPGs.scala`文件的内容。接着，指导读者进入指定文件夹，通过Maven进行编译，生成jar包。最后，阐述了如何运行该程序，并提及如何将程序提交到YARN集群上运行以获取结果。

摘要由CSDN通过智能技术生成

目录结构 /home/training/training_materials/dev1/exercises/spark-application/countjpgs/src/main/scala/stubs/CountJPGs.scala

编辑这个文件，代码如下：

package stubs

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object CountJPGs {
    def main(ages: Array[String]) {
        if (args.length < 1) {
            System.err.println("Usage: CountJPGs <file>")
            System.exit(1)
        }
        
        val sc = new SparkContext()
        val logfile = args(0)
        val weblogs = sc.textFile(logfile)
        val weblogsJpg = weblogs.map(_.split(' ')(6)).filter(_.contains(".jpg"))
        val weblogJpgCount = weblogsJpg.count()
        println("JPG Count : "+weblogsJpgCount)
        sc.stop
        System.exit(1)
    }
}

进入 /home/training/training_materials/dev1/exercises/spark-application/countjpgs 文件夹下，对该项目