flink异步io

2019独角兽企业重金招聘Python工程师标准>>>

Flink常见Checkpoint超时问题排查思路
flink 之 Checkpoint 出现的错误

Checkpoint彻底解密

 

 

 

转至元数据结尾

 

• 由david wang创建，最终由Aljoscha Krettek修改于十月31,2018

转至元数据起始

 

状态

现状：已发布

讨论主题：http：  //apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Proposal-for-Asynchronous-IO-in-FLINK-tt13497.html

JIRA：  FLINK-4391-为已解决的流提供异步操作支持   

发布：  Flink 1.2

Google文档：https：  //docs.google.com/document/d/1Lr9UYXEz6s6R_3PWg3bZQLF3upGaNEkc0rQCFSzaYDI/edit

请将讨论保留在邮件列表上，而不是评论维基（维基讨论快速笨拙）。

动机

在大多数情况下，I / O访问是一个耗时的过程，使得单个操作员的TPS远低于内存计算，特别是对于流式作业，低延迟是用户最关心的问题。启动多个线程可能是处理此问题的一个选项，但缺点是显而易见的：最终用户的编程模型可能会变得更加复杂，因为他们必须在运算符中实现线程模型。此外，他们必须注意与检查点协调。

条款

AsyncFunction：异步I / O将在AsyncFunction中触发。

AsyncWaitOperator：一个将调用AsyncFunction的StreamOperator。

AsyncCollector：对于每个输入流记录，将创建AsyncCollector并将其传递到用户的回调以获取异步i / o结果。

AsyncCollectorBuffer：保留所有AsyncCollector的缓冲区。

发送器线程：AsyncCollectorBuffer中的一个工作线程，当一些AsyncCollectors完成异步i / o并将结果发送到以下操作符时发出信号。

公共接口

添加了一个名为AsyncDataStream的辅助类，以提供将AsyncFunction（将执行异步i / o操作）添加到FLINK流作业的方法。

AsyncDataStream.java

1 2 3 4 五 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

public class AsyncDataStream {  /**   * Add an AsyncWaitOperator. The order of output stream records may be reordered.   *   * @param in Input data stream   * @param func AsyncFunction   * @bufSize The max number of async i/o operation that can be triggered   * @return A new DataStream.   */  public static DataStream<OUT> unorderedWait(DataStream<IN> in, AsyncFunction<IN, OUT> func, int bufSize);  public static DataStream<OUT> unorderedWait(DataStream<IN> in, AsyncFunction<IN, OUT> func);     /**   * Add an AsyncWaitOperator. The order of output stream records is guaranteed to be the same as input ones.   *   * @param func AsyncWaitFunction   * @param func AsyncFunction   * @bufSize The max number of async i/o operation that can be triggered   * @return A new DataStream.   */  public static DataStream<OUT> orderedWait(DataStream<IN> in, AsyncFunction<IN, OUT> func, int bufSize);  public static DataStream<OUT> orderedWait(DataStream<IN> in, AsyncFunction<IN, OUT> func); }

提议的变更

概观

下图说明了如何处理流式传输记录

• 到达AsyncWaitOperator
• 从任务故障转移中恢复
• 快照状态
• 由Emitter Thread发出

序列图

AsyncFunction

AsyncFunction 在AsyncWaitOperator中用作函数，它看起来像StreamFlatMap运算符，具有open（）/ processElement（StreamRecord <IN> record）/ processWatermark（Watermark mark）。

对于用户的混凝土AsyncFunction，所述asyncInvoke（IN输入，AsyncCollector <OUT>集电极）必须重写以供应代码开始异步操作。

AsyncFunction.java

1 2 3 4 五 6 7 8 9 10 11 12 13 14 15 16

public interface AsyncFunction<IN, OUT> extends Function, Serializable {   /**    * Trigger async operation for each stream input.    * The AsyncCollector should be registered into async client.    *    * @param input Stream Input    * @param collector AsyncCollector    */   void asyncInvoke(IN input, AsyncCollector<OUT> collector) throws Exception; }    public abstract class RichAsyncFunction<IN, OUT> extends AbstractRichFunction     implements AsyncFunction<IN, OUT> {   @Override   public abstract void asyncInvoke(IN input, AsyncCollector<OUT> collector) throws Exception; }

对于AsyncWaitOperator的每个输入流的记录，它们将被处理通过AsyncFunction.asyncInvoke（IN输入，AsyncCollector <OUT> CB）。然后AsyncCollector将附加到AsyncCollectorBuffer中。稍后我们将介绍AsyncCollector和AsyncCollectorBuffer。 

AsyncCollector 

AsyncCollector由AsyncWaitOperator创建，并传递到AsyncFunction，它应该被添加到用户的回调中。它充当从用户代码获取结果或错误的角色，并通知AsyncCollectorBuffer发出结果。

 特定于用户的函数是collect，并且应该在异步操作完成或抛出错误时调用它们。

AsyncCollector.java

1 2 3 4 五 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 三十

public class AsyncCollector<OUT> {   private List<OUT> result;   private Throwable error;   private AsyncCollectorBuffer<OUT> buffer;     /**    * Set result    * @param result A list of results.    */   public void collect(List<OUT> result) {     this.result = result;     buffer.mark(this);   }     /**    * Set error    * @param error A Throwable object.    */   public void collect(Throwable error) {     this.error = error;     buffer.mark(this);   }     /**    * Get result. Throw RuntimeException while encountering an error.    * @return A List of result.    * @throws RuntimeException RuntimeException wrapping errors from user codes.    */   public List<OUT> getResult() throws RuntimeException { ... } }

它是如何使用的

在调用AsyncFunction.asyncInvoke（IN输入，AsyncCollector <OUT>收集器）之前，AsyncWaitOperator将尝试从AsyncCollectorBuffer 获取AsyncCollector 的实例。然后它将被带入用户的回调函数。如果缓冲区已满，它将等待一些正在进行的回调完成。 

异步操作完成后，AsyncCollector.collect（）将获取结果或错误，并将通知AsyncCollectorBuffer。

AsyncCollector由FLINK实现。

AsyncCollectorBuffer

AsyncCollectorBuffer保留所有AsyncCollectors，并将结果发送到下一个节点。

调用AsyncCollector.collect（）时，标记将放在AsyncCollectorBuffer中，表示已完成的AsyncCollectors。一个名为Emitter的工作线程也将在AsyncCollector获取结果后发出信号，然后根据有序或无序设置尝试发出结果。

为简单起见，我们将在以下文本中将任务引用到AsyncCollectorBuffer中的AsycnCollector。

 

有序和无序

根据用户配置，将保证或不保证输出元素的顺序。如果不能保证，稍后发布的完成的AsyncCollectors将会更早发出。

线程

线程将等待完成的AsyncCollectors。在发出信号时，它将处理缓冲区中的任务，如下所示：

• 有序模式

如果缓冲区中的第一个任务完成，则Emitter将收集其结果，然后继续执行第二个任务。如果第一项任务尚未完成，请再次等待。

• 无序模式

检查缓冲区中的所有已完成任务，并从缓冲区中最早的水印之前的那些任务中收集结果。

该线程和任务线程将访问完全 通过获取/释放锁。

信号 任务线程在所有任务完成后通知它已经处理完所有数据，并且可以关闭操作员。

从缓冲区中删除一些任务后的Signal Task Thread。

传播任务线程的异常。

任务线程

仅 针对发射qi线程访问AsyncCollectorBuffer 。

获取并向缓冲区添加新的AsyncCollector，等待缓冲区已满。

水印

所有水印也将保存在AsyncCollectorBuffer中。当且仅当在发出当前水印之前的所有AsyncCollector之后才会发出水印。 

状态，故障转移和检查点

州和检查站

所有输入StreamRecords都将保持状态。而不是在处理时逐个将每个输入流记录存储到状态，AsyncWaitOperator将在快照操作符状态时将AsyncCollectorBuffer中的所有输入流记录置于状态。在持久保存这些记录之前，将清除状态中的旧数据。

当所有障碍，在操作员已经抵达，安检点可以进行立即。

故障转移

在恢复操作员状态时，操作员将扫描状态中的所有元素，获取AsyncCollectors，调用AsyncFunction.asyncInvoke（）并将它们插回AsyncCollectorBuffer。

 

笔记

异步资源共享

对于在同一个TaskManager（也就是相同的JVM）中的不同插槽（任务工作者）之间共享异步资源（如连接到hbase，netty连接）的情况，我们可以使连接静态，以便同一进程中的所有线程都可以共享相同的实例。

当然，请在使用这些资源时注意线程安全。

例

用于回调

Example.java

1 2 3 4 五 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

/***  ***/ public class HBaseAsyncFunction implements AsyncFunction<String, String> {   // initialize it while reading object   transient Connection connection;     @Override   public void asyncInvoke(String val, AsyncCollector<String> c) {     Get get = new Get(Bytes.toBytes(val));     Table ht = connection.getTable(TableName.valueOf(Bytes.toBytes("test")));     // UserCallback is from user’s async client.     ((AsyncableHTableInterface) ht).asyncGet(get, new UserCallback(c));   } }   // create data stream public void createHBaseAsyncTestStream(StreamExecutionEnvironment env) {   DataStream<String> source = getDataStream(env);   DataStream<String> stream = AsyncDataStream.unorderedWait(source, new HBaseAsyncFunction());   stream.print(); }

对于ListenableFuture

Example2.java

1 2 3 4 五 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 三十 31 32 33 34 35 36 37 38

import com.google.common.util.concurrent.FutureCallback; import com.google.common.util.concurrent.Futures; import com.google.common.util.concurrent.MoreExecutors; import com.google.common.util.concurrent.ListenableFuture;   public class HBaseAsyncFunction implements AsyncFunction<String, String> {   // initialize it while reading object   transient Connection connection;     @Override   public void asyncInvoke(String val, AsyncCollector<String> c) {     Get get = new Get(Bytes.toBytes(val));     Table ht = connection.getTable(TableName.valueOf(Bytes.toBytes("test")));       ListenableFuture<Result> future = ht.asyncGet(get);     Futures.addCallback(future,       new FutureCallback<Result>() {         @Override public void onSuccess(Result result) {           List ret = new ArrayList<String>();           ret.add(result.get(...));           c.collect(ret);         }           @Override public void onFailure(Throwable t) {           c.collect(t);         }       },       MoreExecutors.newDirectExecutorService()     );   } }    // create data stream public void createHBaseAsyncTestStream(StreamExecutionEnvironment env) {   DataStream<String> source = getDataStream(env);   DataStream<String> stream = AsyncDataStream.unorderedWait(source, new HBaseAsyncFunction());   stream.print(); }

 

https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=65870673

转载于:https://my.oschina.net/u/3005325/blog/3023244