Stream基本概念

Stream流是什么(what)

流的定义:从支持数据处理操作的源生成的元素序列

  1. 元素序列——就像集合一样,流也提供了一个接口,可以访问特定元素类型的一组有序值。因为集合是数据结构,所以它的主要目的是以特定的时间/空间复杂度存储和访问元素(如ArrayList 与 LinkedList)。集合讲的是数据,流讲的是计算。
  2. 源——流会使用一个提供数据的源,如集合、数组或输入/输出资源。 请注意,从有序集合生成流时会保留原有的顺序。由列表生成的流,其元素顺序与列表一致。
  3. 数据处理操作——流的数据处理功能支持类似于数据库的操作,以及函数式编程语言中的常用操作,如filter、 map、 reduce、 find、 match、 sort等。流操作可以顺序执行,也可并行执行。

流的两个特点:

  1. 流水线——很多流操作本身会返回一个流,这样多个操作就可以链接起来,形成一个大的流水线。这让我们下一章中的一些优化成为可能,如延迟和短路。流水线的操作可以看作对数据源进行数据库式查询。

  2. 内部迭代——与使用迭代器显式迭代的集合不同,流的迭代操作是在背后进行的。

    看一段代码:

    import static java.util.stream.Collectors.toList;
    List<String> threeHighCaloricDishNames = menu.stream()//从menu获得流,建立操作流水线
    	.filter(d -> d.getCalories() > 300)//首先选出高热量的菜肴
    	.map(Dish::getName)//获取菜名
    	.limit(3)//只选择头三个
    	.collect(toList());//将结果保存在另一个List中
    System.out.println(threeHighCaloricDishNames);
    
  • filter——接受Lambda,从流中排除某些元素。
  • map——接受一个Lambda,将元素转换成其他形式或提取信息。
  • limit——截断流,使其元素不超过给定数量。
  • collect——将流转换为其他形式。
Collection API 和 新Stream API 的设计思想
  1. 集合与流之间的差异就在于什么时候进行计算。

    集合是一个内存中的数据结构,它包含数据结构中目前所有的值——集合中的每个元素都得先算出来才能添加到集合中。(你可以往集合里加东西或者删东西,但是不管什么时候,集合中的每个元素都是放在内存里的,元素都得先算出来才能成为集合的一部分。)

    流则是在概念上固定的数据结构(你不能添加或删除元素),其元素则是按需计算的。 这个思想就是用户仅仅从流中提取需要的值,而这些值——在用户看不见的地方——只会按需生成。这是一种生产者-消费者的关系。

  2. 打开一个流,只能遍历一次

    和迭代器类似,流只能遍历一次。遍历完之后,我们就说这个流已经被消费掉了。你可以从原始数据源那里再获得一个新的流来重新遍历一遍,就像迭代器一样(这里假设它是集合之类的可重复的源,如果是I/O通道就没戏了)。例如,以下代码会抛出一个异常,说流已被消费掉了。

    List<String> title = Arrays.asList("Java8", "In", "Action");
    Stream<String> s = title.stream();
    s.forEach(System.out::println);
    s.forEach(System.out::println);//java.lang.IllegalStateException:流已被操作或关闭
    
  3. 外部迭代与内部迭代

    使用Collection接口需要用户去做迭代(比如用for-each),这称为外部迭代。 相反,Streams库使用内部迭代——它帮你把迭代做了,还把得到的流值存在了某个地方,你只要给出一个函数说要干什么就可以了。

    显式迭代:

    //1. 使用for-each实现顺序迭代
    List<String> names = new ArrayList<>();
    	for(Dish d: menu){
    		names.add(d.getName());
    }
    //2. 使用iterator实现顺序迭代
    List<String> names = new ArrayList<>();
    Iterator<String> iterator = menu.iterator();
    while(iterator.hasNext()) {
    	Dish d = iterator.next();
    	names.add(d.getName());
    }
    

    内部迭代:

    List<String> names = menu.stream()
    					.map(Dish::getName)
    					.collect(toList());
    

    所以说,stream在内部替我们把迭代给做了,而且在做完的同时,可以根据我们的处理器需要自动的进行并发处理,而我们需要做的就是把lambda表达式(处理这些数据的方法)给出来就可以了。

  4. 流操作(API)

    java.util.stream.Stream中的Stream接口定义了许多操作。它们可以分为两大类。

    • filter、 map和limit可以连成一条流水线;(中间操作)
    • collect触发流水线执行并关闭它。(终端操作)

    可以连接起来的流操作称为中间操作,关闭流的操作称为终端操作。

    中间操作:诸如filter或sorted等中间操作会返回另一个流。这让多个操作可以连接起来形成一个查询。重要的是,除非流水线上触发一个终端操作,否则中间操作不会执行任何处理——它们很懒。这是因为中间操作一般都可以合并起来,在终端操作时一次性全部处理。
    终端操作:终端操作会从流的流水线生成结果。其结果是任何不是流的值,比如List、 Integer,甚至void。

  5. 使用流Stream

    流的使用包含三件事:

    1. 一个数据源(如集合)来执行一个查询;
    2. 一个中间操作链,形成一条流的流水线;
    3. 一个终端操作,执行流水线,并能生成结果。
小结
  1. 流是“从支持数据处理操作的源生成的一系列元素”。
  2. 流利用内部迭代:迭代通过filter、 map、 sorted等操作被抽象掉了。
  3. 流操作有两类:中间操作和终端操作。
  4. filter和map等中间操作会返回一个流,并可以链接在一起。可以用它们来设置一条流水线,但并不会生成任何结果。
  5. forEach和count等终端操作会返回一个非流的值,并处理流水线以返回结果
  6. 流中的元素是按需计算的。
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink 是一个流式处理和批处理的分布式计算框架。它具有以下基本概念: 1. 事件流(Event Stream):Flink 是一个流式处理框架,它能够处理连续的事件流。事件流可以是无界的(无限延续)或有界的(有一个结束点)。Flink 可以对这些事件流进行高效的处理和转换。 2. 作业(Job):在 Flink 中,用户定义的流处理或批处理任务被称为作业。一个作业由一个或多个算子(operator)组成,每个算子接收输入数据流并产生输出数据流。 3. 算子(Operator):算子是 Flink 中执行计算的基本单位。它可以是数据源(source)、转换操作(transformation)或数据接收器(sink)。算子接收一个或多个输入数据流,并生成一个或多个输出数据流。 4. 窗口(Window):窗口是 Flink 中用于对事件流进行分组和聚合操作的机制。窗口可以根据事件的时间或者数量进行划分,然后在窗口上应用聚合操作。 5. 状态(State):状态是 Flink 中用于存储和管理用户定义的数据的机制。状态可以在算子之间共享和传递,从而实现复杂的计算逻辑。 6. 检查点(Checkpoint):检查点是 Flink 中实现容错的机制,用于保证在发生故障时能够从故障中快速恢复。检查点会定期将应用程序的状态保存到持久化存储中,并可以用于重新启动应用程序。 这些是 Flink 的一些基本概念,它们共同构成了 Flink 的核心功能和特性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值