20191209Spark

最新推荐文章于 2022-12-16 16:07:59 发布

炳烛之明科技

最新推荐文章于 2022-12-16 16:07:59 发布

阅读量81

点赞数

分类专栏： Java大数据

本文链接：https://blog.csdn.net/qq_40828705/article/details/103437555

版权

Java大数据专栏收录该内容

33 篇文章 0 订阅

订阅专栏

import java.text.SimpleDateFormat

object TimeStampTest {

  // maim
  def main(args: Array[String]): Unit = {

    // 或取系统的时间戳
    val tsLong = System.currentTimeMillis()

    println(tsLong) // 1575866636495

    val sdf = new SimpleDateFormat("HH:mm:ss").format(tsLong)
    println(sdf) // 12:43:56
  }

}

import java.text.SimpleDateFormat

object TimeStampTest {

  // maim
  def main(args: Array[String]): Unit = {

    // 获取系统的时间戳
    val tsLong = System.currentTimeMillis()
    //println(tsLong) // 1575871214234

    // 根据获取的时间戳 计算系统的时间
    val sdf0 = new SimpleDateFormat("HH:mm:ss").format(tsLong)
    //println(sdf0) // 14:00:14


    // 代码调试
    val sdf1 = new SimpleDateFormat("HH:mm:ss").format(1575871214234L)
    println(sdf1) // 14:00:14

    val sdf2 = new SimpleDateFormat("HH:mm:ss").format(1575871214000L)
    println(sdf2) // 14:00:14

    // 代码调试
   val sdf3 = new SimpleDateFormat("HH:mm:ss").format(1575871540720L)
    println(sdf3) // 14:05:40

    val sdf4 = new SimpleDateFormat("HH:mm:ss").format(1575871540000L)
    println(sdf4) // 14:05:40

  }
}

package mby00

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.streaming.OutputMode
import org.apache.spark.sql.types.{StringType, StructType}

// Streaming DataFrames可以与静态 DataFrames连接，
// 以创建新的Streaming DataFrames。 例如下面的例子:
// 测试
// 直接main
// ok
object SparkStructuredStreamingForJoinOptTest {

  // main
  def main(args: Array[String]): Unit = {

    val sparkSession = SparkSession
      .builder()
      .appName("")
      .master("local[*]")
      .getOrCreate()

    // 基于静态文件创建DataFrame
    val fileDataFrame = sparkSession
      .read
      .format("json")
      .load("D:\\IntelliJ IDEA 2018.2.5\\IEDAMBY\\sparksql-day2\\src\\main\\resources\\SQLSaveOptWithJSONTest")

    // 基于流数据创建DataFrame
    val streamingDataFrame = sparkSession
      .readStream
      .format("csv")
      .schema(
         new StructType()
          .add("id","integer")
          .add("name",StringType)
      )
      .csv("D:\\IntelliJ IDEA 2018.2.5\\IEDAMBY\\sparksql-day2\\src\\main\\resources\\SQLSaveAndLoadOptWithCSVTest1")


    // 流数据不能 join 给批数据
    // 批数据能够 join 给流数据
    // 流DF join 批DF
    streamingDataFrame.join(fileDataFrame,Seq("id","id"),"leftOuter")
      .writeStream
      .format("console")
      .outputMode(OutputMode.Append())
      .start()
      .awaitTermination()
  }
}
/**
-------------------------------------------
Batch: 0
-------------------------------------------
19/12/09 19:22:00 INFO CodeGenerator: Code generated in 11.0632 ms
19/12/09 19:22:00 INFO CodeGenerator: Code generated in 15.183 ms
+---+---+----+----+
19/12/09 19:22:00 INFO WriteToDataSourceV2Exec: Data source writer org.apache.spark.sql.execution.streaming.sources.MicroBatchWriter@2758a211 committed.
| id| id|name|name|
+---+---+----+----+
|  1|  1|  zs|mby1|
|  2|  2|  sl|mby2|
|  2|  2|  sl|mby2|
|  2|  2|  sl|mby2|
|  2|  2|  sl|mby2|
+---+---+----+----+*/