spark：指定日期输出相应日期的日志（入门级-简单实现）

一个人的牛牛

已于 2022-07-24 09:44:04 修改

阅读量266

点赞数 3

分类专栏： spark 文章标签： spark 大数据

于 2022-07-24 09:43:54 首次发布

本文链接：https://blog.csdn.net/qq_55906442/article/details/125956113

版权

spark 专栏收录该内容

22 篇文章 5 订阅

订阅专栏

指定日期为2015.05.20，输出这一天的日志。

代码如下：（日志文件自己找）

import org.apache.spark.{SparkConf, SparkContext}

object RDD_Operator_Transform_filter_Test {
  def main(args: Array[String]): Unit = {

    //TODO 创建环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
    val sc = new SparkContext(sparkConf)

    //TODO RDD算子——filter
    val rdd = sc.textFile("datas/apache.log")
    val filterRDD = rdd.filter(
      line => {
        val datas = line.split(" ")
        val time = datas(3)
        time.startsWith("20/05/2015")

      }
    )
    filterRDD.collect().foreach(println)

    //TODO 关闭环境
    sc.stop()
  }

}