spark
bck1453925668
这个作者很懒,什么都没留下…
展开
-
spark处理时间(java.util.Date)转换为字符串出现不合理日期(02-31)
问题一在spark里使用 rdd.map 做准换时,其中有一个时间字段(列), 需要将java.util.Date类型转换为字符串类型,进行对表insert。转换时出现了 2021-02-31这种非法日期,从而导致入库失败package com.scala01import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.sql.{DataFrame, Dataset, SaveMod.原创 2021-10-13 11:25:08 · 815 阅读 · 0 评论 -
spark算子
SparkContext val conf: SparkConf = new SparkConf().setMaster("local") conf.setAppName("sparkTest") val sc = new SparkContext(conf) val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6)) 。。。。。 sc.stop()sc.makeRDD()底层调用的是 .parallel原创 2020-09-12 21:52:47 · 301 阅读 · 0 评论 -
scala
package com.exampleobject feon2 { def main(args: Array[String]): Unit = { val unit = List(1,3,7,8,3,2) val unit2 = List("11","23","14","22") println(unit.max) println(unit.min) println(unit.sum) println(unit.product) //相乘...原创 2020-08-30 22:14:55 · 110 阅读 · 0 评论