scala flatmap与map的区别； List、Array、ListBuffer、ArrayList、Set、元组区别

最新推荐文章于 2024-07-04 10:39:56 发布
最新推荐文章于 2024-07-04 10:39:56 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 大数据 文章标签： scala

一、flatmap与map的区别

1. map会将每一条输入映射为一个新对象。{苹果，梨子}.map(去皮） = {去皮苹果，去皮梨子} 其中： “去皮”函数的类型为：A => B

不能把一行 映射为多行。

2.flatMap包含两个操作：会将每一个输入对象输入映射为一个新集合，然后把这些新集合连成一个大集合。 {苹果，梨子}.flatMap(切碎) = {苹果碎片1，苹果碎片2，梨子碎片1，梨子碎片2} 其中： “切碎”函数的类型为： A => List<B>

可以将1行切为多行。

例子：

import java.sql.Timestamp
import java.text.SimpleDateFormat
import java.util
import java.util.{Collections, Date}

import com.gree.util.DateUtil.DateFormat
import com.gree.util.DmSpark
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

import scala.collection.mutable.ArrayBuffer

/**
  *
  * ClassName: 一条记录变多条记录
  * Description:输入一条记录只包括开始时间和结束时间，然后按小时切断，变为N条记录
  * author yuwei
  * date 2018年9月29日
  *
  */
object DayToperMin {
  private val sc = DmSpark.getSC()
  private val sqlHiveContext = DmSpark.getSqlHiveContext()
  val sqlContext = new SQLContext(sc)

  import sqlHiveContext.implicits._


  def main(args: Array[String]): Unit = {
      // Tuple类型
      val ab = new ArrayBuffer[(Long, Timestamp, Timestamp, Timestamp)]()

  val data4 = sqlHiveContext.createDataFrame(Seq((Timestamp.valueOf("2018-08-08 00:37:36.0"), Timestamp.valueOf("2018-08-09 01:05:59.0"))
      ,(Timestamp.valueOf("2018-09-08 00:37:36.0"), Timestamp.valueOf("2018-09-09 01:05:59.0"))))
      .toDF("recordtime", "leadrecordtime")
      .withColumn("dif", 'leadrecordtime.cast("long") - 'recordtime.cast("long"))
      // 用flatMap不用map的原因：map 输入输出是1对1，flatmap输入1 输出1个list
      .rdd.flatMap(x => {
      // 按分钟切
      // val s=Timestamp.valueOf(x.get(0).toString.substring(0,17)+"00")
      // val e=Timestamp.valueOf(x.get(1).toString.substring(0,17)+"00")
      // 按小时切
      val s = Timestamp.valueOf(x.get(0).toString.substring(0, 14) + "00:00")
      val e = Timestamp.valueOf(x.get(1).toString.substring(0, 14) + "00:00")
      val difNum = DateFormat(e) - DateFormat(s)
      println(s, e, difNum)
      //用java 的ArrayList需要import scala.collection.JavaConversions._ 才能在后续scala中使用
      // scala中只有Array(定长)，ArrayBuffer(变长)，这里是变长，用ArrayBuffer
      // val arr=new util.ArrayList[String]()

 val first = Timestamp.valueOf(x.get(0).toString)
    ab.+=((x.get(2).toString.toLong, x.getTimestamp(0), first, x.getTimestamp(1)))

    val end = Timestamp.valueOf(x.get(1).toString)
    ab.+=((x.get(2).toString.toLong, x.getTimestamp(0), end, x.getTimestamp(1)))

      for (i: Long <- 3600L to difNum by (3600L)) {
        val time1 = getAddTime(s, i)
        // arr.add(x.get(2).toString.toLong + "," + x.getTimestamp(0) + "," + time1 + "," + x.getTimestamp(1))
        ab.+= ((x.get(2).toString.toLong, x.getTimestamp(0), time1, x.getTimestamp(1)))

      }

 // import scala.collection.JavaConversions._
      // arr
      ab
    }) /*.map(x => {
      val arr = x.split(",")
      (arr(0), arr(1), arr(2), arr(3))
    })*/
      .toDF("difNum","recordtime","perHour","leadRecordtime")
       .orderBy('perHour)
      .show(1000, false)
  }

//求某个时间的向前或向后x秒的时间
  def getAddTime(start_Time: Timestamp, interval: Long): Timestamp = {
    var sdf: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")
    var timeFormt = "yyyy-MM-dd HH:mm:ss"
    var time: Long = DateFormat(start_Time)
    val addtime: Long = time + interval
    val addtime1: String = sdf.format(addtime * 1000)
    val finaltime = Timestamp.valueOf(addtime1)
    finaltime
  }

  def DateFormat(time: Timestamp): Long = {

    val sdf: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") //定义格式，不显示毫秒
    val dt: Date = sdf.parse(time.toString)

    dt.getTime() / 1000
  }
}
(2018-08-08 00:00:00.0,2018-08-09 01:00:00.0,90000)
(2018-09-08 00:00:00.0,2018-09-09 01:00:00.0,90000)
+------+---------------------+---------------------+---------------------+
|difNum|recordtime           |perHour              |leadRecordtime       |
+------+---------------------+---------------------+---------------------+
|88103 |2018-08-08 00:37:36.0|2018-08-08 00:37:36.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 01:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 02:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 03:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 04:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 05:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 06:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 07:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 08:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 09:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 10:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 11:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 12:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 13:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 14:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 15:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 16:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 17:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 18:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 19:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 20:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 21:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 22:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-08 23:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-09 00:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-09 01:00:00.0|2018-08-09 01:05:59.0|
|88103 |2018-08-08 00:37:36.0|2018-08-09 01:05:59.0|2018-08-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 00:37:36.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 01:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 02:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 03:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 04:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 05:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 06:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 07:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 08:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 09:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 10:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 11:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 12:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 13:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 14:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 15:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 16:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 17:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 18:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 19:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 20:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 21:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 22:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-08 23:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-09 00:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-09 01:00:00.0|2018-09-09 01:05:59.0|
|88103 |2018-09-08 00:37:36.0|2018-09-09 01:05:59.0|2018-09-09 01:05:59.0|
+------+---------------------+---------------------+---------------------+

从spark的map到线程安全 mapPartition

http://jszhujun2010.farbox.com/post/spark/cong-sparkde-mapdao-xian-cheng-an-quan

二、scala中List、Array、ListBuffer、ArrayList、Set、元组区别

注意：scala中没有arrayList,使用java的arrayList时，需要import scala.collection.JavaConversions._

1.List列表：不可变

LIst支持在头部快速添加和移除条目，但是不提供快速按下标访问的功能，这个功能需要线性遍历列。

快速的头部添加和移除意味着模式匹配很顺畅

List列表跟数组非常像，2者都是同构的，同一个列表的所有元素必须是相同类型。

但是有2个重要区别

1，List是不可变的，元素不能通过赋值改变。
2.列表的结构是递归的（即链表，linkedList），而数组是平等的。
使用toList、toArray相互转换：

scala> Array(1,2,3).toList

res14: List[Int] = List(1, 2, 3)

 

scala> List(1,2,3).toArray

res15: Array[Int] = Array(1, 2, 3)

 

2.Array数组：可变

提供下标高效访问（获取或更新）指定位置的元素值

 

3.列表缓冲LIstBuffer：可变

List提供头部快速访问，对尾部访问则没那么高效。List追加元素，通常考虑反过来，追加元素，再调用reverset

另一个可选方案，使用ListBuffer，提供了常量时间的往后追加和往前追加的操作，最后调用toList获取List。

 

4.数组缓冲ArrayBuffer：可变

跟Array很像，除了可以额外地从序列头部或尾部添加或移除元素。

所有的Array操作在ArrayBuffer都可用。不过由于实现的包装，会稍慢一些。

新的添加和移除操作平均而言是常量时间，不过偶尔会需要线性的时间，这是因为其实现需要不时地分配新的数组来保存缓存的内容。

 

5.集Set，提供了可变和不可变

每个元素对象最多出现一次

 

6.元组

不同于数组或列表可以持有不同类型的对象（数组和列表也可以存，不过泛型参数就变为Any了）

7.Map，提供了可变和不可变

这里顺便说下传名参数：

val cache = scala.collection.mutable.Map(1-> "a",2-> "b",3->"c")

定义一个函数：

scala> def f(x: String) = {

| println("taking my time"); Thread.sleep(100)

| x.reverse}

//defgetOrElseUpdate(key: A, op: ⇒ B): B，第二个参数是个传名参数，所以如果k存在，不会执行。

scala> cache.getOrElseUpdate(10,f("abc"))

taking my time

res33: String = cba
--------------------- 
作者：疯狂的赣江 
来源：CSDN 
原文：https://blog.csdn.net/mar_ljh/article/details/81910286 
版权声明：本文为博主原创文章，转载请附上博文链接！

yostkevin
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scala中faltMap和map的区别
ergeg1的博客
04-26 220
scala中map是将每一条输入通过给定的函数映射为一个新对象，flatMap相比较于map可以理解为map+flatten flatten：遍历每一个可以遍历的的元素并且返回一个集合（该集合不包含内置集合） /** Converts this $coll of traversable collections into * a $coll formed by the elements of these traversable * collections. * * @tpar
scala 中flatMap和Map 的区别
enjoy
05-06 980
flatMap是Map的一种扩展，Map主要将某个函数应用到集合中的每个元素，并产生一个结果集合，而flatMap跟Map类似，只是传入的函数对每个输入都会返回一个集合（而不是一个元素），然后，flatMap把生成的多个集合“拍扁”成为一个集合。 //flatMap val test=List("flatmap","hadoop","map") val flatMap=test.flatMap...
Scala中的map方法和flatMap方法的区别
zzds111的博客
12-26 1134
map方法和flatMap方法都是根据我们传入的集合，取出里面的内容变成一个新的集合返回 但是他们的用法有些区别 map方法的返回值是B，也就是自定义的，你想返回啥都可以，可以是一个String,一个数值，一个集合... flatMap方法返回值必须是GenTraversableOnce[B]类型，也就是集合类型，因为flatMap方法有一个扁平化操作，如果返回值不是集合类型，最终结果看起来会很奇怪，可以把返回值设置成一个字符串看看结果是什么样的 我写了一个map，里面的key是一个字符串，
Scala中Array、List和Tuple三者差别
边看边学
09-12 1001
Scala中的三种集合类型包含:Array,List,Tuple、 相同点： 长度都是固定的 不同点： Array中的元素值可变，List和Tuple中的元素值不可变。 Array和List中的元素类型必须相同，Tuple可以存放不同的元素类型。 Array通常是先定长度后赋值，而List和Tuple在声明的时候就要赋值。 Array取单个元素的复杂度是O(1)。而List读取单个元素的复杂...
Scala中map操作和flatMap操作的区别
震逗比的博客
03-25 2530
Scala中map操作和flatMap操作的区别flatMap()和map()操作对比map操作flatMap操作加深理解 flatMap()和map() flatMap(function)和map(function)操作都是传入的函数对RDD中的每一个元素进行处理的操作。但是不同点在于，map操作是一对一的，即map(function)传入的函数在处理RDD的每一个元素后都产生相对应的结果，输入...
scala中List、Array、ListBuffer、ArrayList、Set、元组区别
热门推荐
赣江
08-21 1万+
1.List列表：不可变 LIst支持在头部快速添加和移除条目，但是不提供快速按下标访问的功能，这个功能需要线性遍历列。 快速的头部添加和移除意味着模式匹配很顺畅 List列表跟数组非常像，2者都是同构的，同一个列表的所有元素必须是相同类型。 但是有2个重要区别 1，List是不可变的，元素不能通过赋值改变。 2.列表的结构是递归的（即链表，linkedList），而数组是平等的。 使...
【浅显易懂】scala中map与flatMap的区别
MonkeyKing_1990的博客
04-06 263
对于不太熟悉的方法或者函数，直接上例子会直观很多： map: val names = List("Alice","James","Apple") val strings = names.map(x => x.toUpperCase) println(strings) 结果： List(ALICE, JAMES, ...
浅析scala中map与flatMap的区别
08-25
Scala 中 map 与 flatMap 的区别 在 Scala 中，map 和 flatMap 是两个非常重要的函数，它们都是函数式编程中的核心概念。虽然它们都可以将一个函数应用于集合中的每个元素，但是它们之间存在着很大的区别。 首先，...
Scala Json 和 map/ bean对象的转换
01-07
需求：需要将一个格式是[String,MonthValue]的map转换为json，这里YearValue是自定义的case class。 MonthValue长这样，这里需要加上@BeanProperty注解，否则 fastjson解析不到。 case class MonthValue(@Bean...
Scala与Java的区别
01-20
在此简单的罗列一些基本的差别。 Scala不需要分号结尾 Scala函数式编程语言，在scala世界里，函数才是一等公民；函数可以作为参数进行传递，可以赋值给变量，可以作为返回值进行返回 Scala类型定义开头需大写 Scala...
Scala入门之List使用详解
08-25
List与Array的区别 List和Array都是集合类型，但是它们有着很大的区别。List是一种不可变的集合，一旦创建，已有元素的值不能改变；Array是一种可变的集合，可以改变元素的值。例如，在Scala中，nums(3)=4将会报错...
tuplez:Scala元组组成
03-18
Scala和Scala.js中的元组组成。 // tupleN + scalar, scalar + tupleN, tupleN + tupleM, up to Tuple22 " app.tulz " %%% " tuplez-full " % " 0.3.4 " // or // tupleN + scalar, scalar + tupleN, tupleN + ...
掌握Scala数据结构（1）ARRAY、LIST
dmzshyl1123的博客
06-12 1446
先定义，后赋值，这叫数组的动态初始化避免数组下标越界错误（数据溢出：Data Overflow）变长数组使用类scala.collection.mutable.ArrayBuffer进行定义定义一个变长Int类型数组arr，利用+=运算符、append方法添加一个数组元素（注意是追加元素），还可以利用appendAll方法添加一个数组（多个元素）
【Todo】【转载】Scala中Array, List, Tuple的区别
weixin_34253539的博客
12-01 73
参考了这篇文章： https://my.oschina.net/u/1034176/blog/512314   1. 在Scala 2.7中，Array、List都不能混合类型，只有Tuple可以；而在Scala以上版本中，3者的元素都可以混合不同的类型（转化为Any类型），只不过是当使用混合类型时，Array和List会将元素类型转化为Any类型,而Tuple则保留每一个元素的初始类型。   2...
Scala 中的foreach和map、flatMap方法比较
Alex的博客
03-29 344
scala做为一种支持函数式编程范式的语言，必然要引入一种机制以支持数学中函数概念，而在数学中函数就是映射，所以scala中有map方法一点都不奇怪。总而言之，foreach用于遍历集合，而map用于映射（转换）集合到另一个集合。Scala中的集合对象都有foreach和map、flatMap方法，都是用来遍历当前集合，但他们都有不同点。map的参数是一个函数，List中的每个元素都应用于这个函数，并且返回一个新的集合。这几个方法的共同点在于：都是用于遍历集合对象，并对每一项执行指定的方法。
Scala中Array和List的区别
power0405hf的专栏
12-09 1万+
Difference between Array and List in scala Q:什么时候用Array（Buffer）和List（Buffer）? A: Scala中的List是不可变的递归数据（immutable recursive data）,是Scala中的一种基础结构，你应该多用List而不是Array（Array实际上是mutable，不可变（immutable）的Array是
Scala 中Array,List,Tuple的区别
dai451954706的专栏
06-26 7915
Scala 中Array,List,Tuple的区别
Perl 语言开发（五）：循环语句
最新发布
07-04 859
循环语句是编程语言中的重要组成部分，用于重复执行某些操作直到满足特定条件。在 Perl 语言中，循环语句同样具有重要地位，能够帮助开发者有效处理重复任务。这篇文章将详细介绍 Perl 中的各种循环语句及其应用场景，帮助读者更好地理解和使用这些控制结构。
scala map java map_浅析scala中map与flatMap的区别
05-12
它们可以被用于`List`、`Set`、`Array`等集合类型。 `map`函数接收一个函数作为参数，该函数将每个元素映射为一个新元素，并返回具有新元素的新集合。例如： ```scala val list = List(1, 2, 3, 4) val newList = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值