2017年08月_TIGER_XC

原创 Akka（22）： Stream：实时操控：动态管道连接-MergeHub,BroadcastHub and PartitionHub

在现实中我们会经常遇到这样的场景：有一个固定的数据源Source，我们希望按照程序运行状态来接驳任意数量的下游接收方subscriber、又或者我需要在程序运行时（runtime）把多个数据流向某个固定的数据流终端Sink推送。这就涉及到动态连接合并型Merge或扩散型Broadcast的数据流连接点junction。从akka-stream的技术文档得知：一对多，多对一或多对多类型的复杂数据流组件必须用GraphDSL来设计，产生Graph类型结果。前面我们提到过：Graph就是一种运算预案，要求所有的运

2017-08-31 09:53:44 512

原创 Akka（21）： Stream：实时操控：人为中断-KillSwitch

akka-stream是多线程non-blocking模式的，一般来说，运算任务提交到另外线程后这个线程就会在当前程序控制之外自由运行了。任何时候如果需要终止运行中的数据流就必须采用一种任务柄（handler）方式来控制在其它线程内运行的任务。这个handler可以在提交运算任务时获取。akka-stream提供了KillSwitch trait来支持这项功能：

2017-08-30 08:25:04 899

原创 Akka（20）： Stream：异步运算，压力缓冲-Async, batching backpressure and buffering

akka-stream原则上是一种推式（push-model）的数据流。push-model和pull-model的区别在于它们解决问题倾向性：push模式面向高效的数据流下游（fast-downstream-subscriber），pull model倾向高效的上游（fast-upstream-publisher）。现实中速度同等的上下游并不多见，不匹配的上下游速度最终造成数据丢失。如果下游的subscriber无法及时接收由publisher向下游推送的全部数据，那么无论有多大的缓冲区，最终会造成溢出丢

2017-08-28 17:02:30 608 1

原创 Akka（19）： Stream：组合数据流，组合共用-Graph modular composition

akka-stream的Graph是一种运算方案，它可能代表某种简单的线性数据流图如：Source/Flow/Sink，也可能是由更基础的流图组合而成相对复杂点的某种复合流图，而这个复合流图本身又可以被当作组件来组合更大的Graph。因为Graph只是对数据流运算的描述，所以它是可以被重复利用的。所以我们应该尽量地按照业务流程需要来设计构建Graph。在更高的功能层面上实现Graph的模块化（modular）。按上回讨论，Graph又可以被描述成一种黑盒子，它的入口和出口就是Shape，而内部的作用即处理步

2017-08-24 10:13:49 2734

原创 Akka（18）： Stream：组合数据流，组件-Graph components

akka-stream的数据流可以由一些组件组合而成。这些组件统称数据流图Graph，它描述了数据流向和处理环节。Source,Flow,Sink是最基础的Graph。用基础Graph又可以组合更复杂的复合Graph。如果一个Graph的所有端口（输入、输出）都是连接的话就是一个闭合流图RunnableGraph，否则就属于·开放流图PartialGraph。一个完整的（可运算的）数据流就是一个RunnableGraph。Graph的输出出入端口可以用Shape来描述：

2017-08-21 13:47:28 967

原创 Akka（17）： Stream：数据流基础组件-Source,Flow,Sink简介

在大数据程序流行的今天，许多程序都面临着共同的难题：程序输入数据趋于无限大，抵达时间又不确定。一般的解决方法是采用回调函数（callback-function）来实现的，但这样的解决方案很容易造成“回调地狱（callback hell）”，即所谓的“goto-hell”：程序控制跳来跳去很难跟踪，特别是一些变量如果在回调函数中更改后产生不可预料的结果。数据流（stream）是一种解决问题的有效编程方式。Stream是一个抽象概念，能把程序数据输入过程和其它细节隐蔽起来，通过申明方式把数据处理过程描述出来，使

2017-08-15 13:18:19 5068 1

原创 Akka（16）：持久化模式：PersistentFSM-可以自动修复的状态机器

前面我们讨论过FSM，一种专门为维护内部状态而设计的Actor，它的特点是一套特殊的DSL能很方便地进行状态转换。FSM的状态转换模式特别适合对应现实中的业务流程，因为它那套DSL可以更形象的描述业务功能。为了实现FSM的可用性，就必须为FSM再增加自我修复能力，PersistentFSM是FSM和PersistentActor的合并，是在状态机器模式的基础上再增加了状态转变事件的持久化，从而实现内部状态的自我修复功能的。在FSM结构基础上，PersistentFSM又增加了领域事件（domain-even

2017-08-09 10:46:38 562

TIGER_XC的专栏