- 博客(284)
- 收藏
- 关注
RSS订阅原创 alpakka-kafka(10)-用kafka实现分布式近实时交易
随着网上购物消费模式热度的不断提高，网上销售平台上各种促销手段也层出不穷，其中“秒购”已经是各种网站普遍流行的促销方式了。“秒购”对数据的实效性和精确性要求非常高，所以通过分布式运算实现高并发数据处理应该是正确的选择。不过，高并发也意味着高频率的数据操作冲突，而高频使用“锁”又会严重影响效率及容易造成不可控异常，所以又被迫选择单线程运行模式。单线程、分布式表面相悖的，不过如上篇博文所述：可以利用akka-cluster-sharding分片可指定调用的特性将一种商品的所有操作放到同一个shard上运算（因为
2022-02-16 17:26:35
1027
原创 alpakka-kafka(9)-kafka在分布式运算中的应用
kafka具备的分布式、高吞吐、高可用特性，以及所提供的各种消息消费模式可以保证在一个多节点集群环境里消息被消费的安全性：即防止每条消息遗漏处理或重复消费。特别是exactly-once消费策略：可以保证每条消息肯定只被消费一次。换句话说就是在分布式运算环境里kafka的消息消费是能保证唯一性的。但是，保证了消息读取唯一性，消息的处理过程如果也放到分布式运算环境里仍然会面对数据完整性（data integrity）问题。例如：消息处理过程是更新银行账户中金额、消息内容是更新某个账户的指令，那么，对多条针对
2022-01-28 12:40:42
1748
原创 alpakka-kafka(8)-kafka数据消费模式实现
上篇介绍了kafka at-least-once消费模式。kafka消费模式以commit-offset的时间节点代表不同的消费模式，分别是：at-least-once, at-most-once, exactly-once。上篇介绍的at-least-once消费模式是通过kafka自身的auto-commit实现的。事后想了想，这个应该算是at-most-once模式，因为消费过程不会影响auto-commit，kafka在每个设定的间隔都会自动进行offset-commit。如果这个间隔够短，比整..
2021-08-15 14:21:58
308
原创 alpakka-kafka(7)-kafka应用案例，消费模式
上篇描述的kafka案例是个库存管理平台。是一个公共服务平台，为其它软件模块或第三方软件提供库存状态管理服务。当然，平台管理的目标必须是共享的，即库存是作为公共资源开放的。这个库存管理平台是一个Kafka消费端独立运行的软件。kafka的生产方即平台的服务对象通过kafka生产端producer从四面八方同时、集中将消息写入kafka。库存管理平台在kafka消费端不间断监控kafka里新的未读过的消息并及时读取，通过解析消息获取发布者对库存管理的指令，然后按指令更新库存状态。设计这个库存管理平...
2021-08-14 16:19:20
311
原创 alpakka-kafka(6)-kafka应用案例，用户接口
了解了kafka原理之后，对kafka的的应用场景有了一些想法。在下面的一系列讨论中把我最近的一个项目中对kafka的应用介绍一下。先介绍一下使用kafka的起因：任何销售系统，销售开单部分都应该算是核心部分了。这是一个销售数据录入...
2021-08-10 17:37:47
261
原创 alpakka-kafka(5)-kafka集群配置与分布式应用部署
在进入具体的kafka应用应用之前我们先把kafka集群环境配置介绍一下。多节点kafka-cluster的安装、配置非常简单，所以应该不用太多篇幅就可以完成一个完整可用的kafka-clusterhuan
2021-06-15 11:53:56
232
2
原创 alpakka-kafka(4)-kafka应用案例-系统分析
上一篇我们基本了解了示范案例中一个独立交易类型的库存管理模块应该是怎样的一块业务。这篇我们讨论一些如何从技术上来实现这样的业务模块。讲确切点应该说如何借助kafka的特性来实现功能开发。底层方面：多节点服务器集群、kafka分布部署。对上一层主要关注partition相关的问题：partition的分布与consumer如何对应。根据kafka官方文档：一个topic分出多个partition，一般按照集群节点broker倍数设置。那么一个topic的partition差不多以同等数量分布于每个..
2021-03-26 09:34:28
153
原创 alpakka-kafka(3)-kafka应用案例-需求分析
在大型复杂的应用中，业务模块之间总是相互关联，相互纠缠。无论业务管理或软件开发方面都会造成困惑：从业务管理方面难以厘清确切的管理范围和职责：就是说不知一项业务具体谁来管。在软件开发方面则无法确定开发人员的具体分工和维护责任，即确定一项业务功能具体靠谁来修改、优化。拿一个普通的网上购物过程来说，除商品拣选过程外的优惠价选定、库存扣减、支付都会涉及商品定价管理、库存管理、财务管理等独立的业务模块。如果纯从软件开发角度来描述：负责开发购物流程的开发人员还需要兼顾优惠价计算、库存扣减、支付等业务操作。因为商...
2021-03-21 22:22:12
190
1
原创 alpakka-kafka(2)-consumer
alpakka-kafka-consumer简单的功能描述：向kafka订阅某些topic然后把读到的消息传给akka-streams做业务处理。在kafka-consumer的实现细节上，为了达到高可用、高吞吐的目的，topic又可用划分出多个分区partition。分区是分布在kafka集群节点broker上的。由于一个topic有多个partition，对应topic就会有多个consumer，就是一个consumer组，共同统一的groupid。一个partition只能对应一个consume...
2021-02-22 20:30:28
202
原创 alpakka-kafka(1)-producer
alpakka项目是一个基于akka-streams流处理编程工具的scala/java开源项目，通过提供connector连接各种数据源并在akka-streams里进行数据处理。alpakka-kafka就是alpakka项目里的kafka-connector。对于我们来说：可以用alpakka-kafka来对接kafka，使用kafka提供的功能。或者从另外一个角度讲：alpakka-kafka就是一个用akka-streams实现kafka功能的scala开发工具。...
2021-02-20 09:11:30
251
原创 kafka - 为CQRS而生
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传递。所以如果能够通过消息来驱动某段程序的运行，那么这段程序就有可能在集群中任何一个节点上运行了。好了，akka-cluster是通过对每个集群节点上的中介发送消息使之调动该节点上某段程序运行来实现分布式运算的..
2020-11-25 18:40:34
227
原创 akka-streams - 从应用角度学习：basic stream parts
实际上很早就写了一系列关于akka-streams的博客。但那个时候纯粹是为了了解akka而去学习的，主要是从了解akka-streams的原理为出发点的，因为akka-streams是akka系列工具的基础，如：akka-http, persistence-query等等。其实没有真正使用过akka-streams。这段时间所遇到的实际需求也是通过集合来解决的。不过，现在所处的环境还是逼迫着去真正了解akka-streams的应用场景。现状是这样的：跨入大数据时代，已经有大量的现代IT系统从传统关系...
2020-09-07 08:18:54
440
原创 akka-grpc - 应用案例
上期说道：http/2还属于一种不普及的技术，目前只适合用于内部系统集成。现在开始大面积介入可能为时尚早。不过有些项目需求不等人，需要使用这项技术，所以研究了一下akka-grpc，写了一篇介绍。本想到此为止，继续其它项目。想想这样做法有点不负责任，像是草草收场。毕竟用akka-grpc做了些事情，想想还是再写这篇跟大家分享使用kka-grpc的过程。我说过，了解akka-grpc的主要目的还是在protobuf的应用上。这是一种高效率的序列化协议。刚好，公司有这么个项目，是一个图像处理平台：把很多..
2020-08-29 09:57:19
372
原创 akka-grpc - 基于akka-http和akka-streams的scala gRPC开发工具
关于grpc，在前面的scalaPB讨论里已经做了详细的介绍：google gRPC是一种全新的RPC框架，在开源前一直是google内部使用的集成工具。gRPC支持通过http/2实现protobuf格式数据交换。protobuf即protocol buffer，是google发明的一套全新的序列化传输协议serialization-protocol，是二进制编码binary-encoded的，相对java-object，XML，Json等在空间上占有优势，所以数据传输效率较高。由于gRPC支持http.
2020-08-23 18:42:45
433
原创 akka-typed(10) - event-sourcing, CQRS实战
在前面的的讨论里已经介绍了CQRS读写分离模式的一些原理和在akka-typed应用中的实现方式。通过一段时间akka-typed的具体使用对一些经典akka应用的迁移升级，感觉最深的是EvenSourcedBehavior和akka-cluster-sharding了。前者是经典akka中persistenceActor的替换，后者是在原有组件基础上在使用方面的升级版。两者都在使用便捷性方面提供了大幅度的提升。在我看来，cluster-sharding是分布式应用的核心，如果能够比较容易掌握，对开发正确的
2020-08-16 11:24:08
268
原创 akka-typed(9) - 业务分片、整合，谈谈lagom, 需要吗？
在讨论lagom之前，先从遇到的需求开始介绍：现代企业的it系统变得越来越多元化、复杂化了。线上、线下各种系统必须用某种方式集成在一起。从各种it系统的基本共性分析：最明显的特征应该是后天数据库的角色了，起码，大家都需要使用数据。另外，每个系统都可能具备海量数据特性，代表着对数据处理能力有极大的要求，预示系统只有通过分布式处理方式才能有效运行。一个月前开始设计一个企业的it系统，在讨论数据中台时就遇到这样的需求。这个所谓的数据中台的主要作用是为整体系统提供一套统一的api，前后连接包括web,mob..
2020-08-09 08:47:02
330
原创 akka-typed(8) - CQRS读写分离模式
前面介绍了事件源（EventSource）和集群（cluster），现在到了讨论CQRS的时候了。CQRS即读写分离模式，由独立的写方程序和读方程序组成。akka-typed应该自然支持CQRS模式，最起码本身提供了对写方编程的支持，这点从EventSourcedBehavior 可以知道。akka-typed提供了新的EventSourcedBehavior-Actor，极大方便了对persistentActor的应用开发，但同时也给编程者造成了一些限制。如手工改变状态会更困难了，EventSour...
2020-06-26 09:27:24
302
原创 akka-typed(7) - cluster：sharding, 集群分片
在使用akka-typed的过程中发现有很多地方都简化了不少，变得更方便了，包括：Supervision，只要用Behaviors.supervise()把Behavior包住，很容易就可以实现这个actor的SupervisorStrategy.restartWithBackoff策略了。然后集群化的group router使用起来也很方便，再就是集群分片cluster-sharding了。下面我们就通过一个例子来介绍cluster-sharding的具体使用方法。首先，分片的意思是指在集群中多个..
2020-06-12 16:33:06
458
原创 akka-typed(6) - cluster：group router, cluster-load-balancing
先谈谈akka-typed的router actor。route 分pool router, group router两类。我们先看看pool-router的使用示范： val pool = Routers.pool(poolSize = 4)( // make sure the workers are restarted if they fail Behaviors.supervise(WorkerRoutee()).onFailure[Excepti...
2020-06-11 08:23:37
299
原创 akka-typed(5) - cluster：集群节点状态监视
akka-cluster对每个节点的每种状态变化都会在系统消息队列里发布相关的事件。通过订阅有关节点状态变化的消息就可以获取每个节点的状态。这部分已经在之前关于akka-cluster的讨论里介绍过了。由于akka-typed里采用了新的消息交流协议，而系统消息的发布和订阅也算是消息交换，也受交流协议约束。所以想通过重写以前示范的ClusterMemberStatus来了解一下akka-typed环境下节点状态变化消息监听的一些机制。我们需要一个actor来订阅系统发布的节点状态变化消息。这里涉及...
2020-06-07 22:28:26
582
原创 akka-typed(4) - EventSourcedBehavior in action
前面提到过，akka-type中较重要的改变是加入了EventSourcedBehavior。也就是说增加了一种专门负责EventSource模式的actor, 最终和其它种类的actor一道可以完美实现CQRS。新的actor，我还是把它称为persistentActor，还是一种能维护和维持运行状态的actor。即，actor内部状态可以存放在数据库里，然后通过一组功能函数来提供对状态的处理转变即持续化persistence。当然作为一种具备EventSourcedBehavior的actor, 普..
2020-06-06 12:18:40
338
原创 akka-typed(3) - PersistentActor has EventSourcedBehavior
akka-typed中已经没有PersistentActor了。取而代之的是带有EventSourcedBehavior的actor，也就是一种专门支持EventSource模式的actor。EventSource的原理和作用在之前的博客里已经有了比较详细的介绍，这里就不再重复了。本篇直接从EventsourcedBehavior actor的具体应用开始介绍。支持EventSource应用的基本数据类型包括 指令Command, 事件Event，状态State。EventSourcing其实就是一个...
2020-06-03 08:05:38
271
原创 akka-typed(2) - typed-actor交流方式和交流协议
akka系统是一个分布式的消息驱动系统。akka应用由一群负责不同运算工作的actor组成，每个actor都是被动等待外界的某种消息来驱动自己的作业。所以，通俗点描述：akka应用就是一群actor相互之间发送消息的系统，每个actor接收到消息后开始自己负责的工作。对于akka-typed来说，typed-actor只能接收指定类型的消息，所以actor之间的消息交流需要按照消息类型来进行，即需要协议来规范消息交流机制。想想看，如果用户需要一个actor做某件事，他必须用这个actor明白的消息类型...
2020-05-29 13:02:45
522
原创 akka-typed(1) - actor生命周期管理
akka-typed的actor从创建、启用、状态转换、停用、监视等生命周期管理方式和akka-classic还是有一定的不同之处。这篇我们就介绍一下akka-typed的actor生命周期管理。每一种actor都是通过定义它的行为属性behavior形成模版，然后由对上一层的父辈actor用spawn方法产生actor实例的。产生的actor实例加入一个系统的由上至下树形结构，直接在spawn产生自己的父辈之下。akka-typed的守护guardian-actor，即根部root-actor是...
2020-05-27 20:19:59
266
原创 akka-typed(0) - typed-actor, typed messages
akka 2.6.x正式发布以来已经有好一段时间了。核心变化是typed-actor的正式启用，当然persistence,cluster等模块也有较大变化。一开始从名称估摸就是把传统any类型的消息改成强类型消息，所以想拖一段时间看看到底能对我们现有基于akka-classic的应用软件有什么深层次的影响。不过最近再考虑的一些系统架构逼的我不得不立即开始akka-typed的调研，也就是说akka-classic已经无法或者很困难去实现新的系统架构，且听我道来：最近在考虑一个微服务中台。作为后台数据...
2020-05-26 21:45:01
382
原创 search（16）- elastic4s-内嵌文件：nested and join
从SQL来的用户，对于ES的文件关系维护方式会感到很不习惯。毕竟，ES是分布式数据库只能高效处理扁平类型文件，无法支持关系式数据库那样的文件拼接。但是，任何数据库应用都无法避免树型文件关系，因为这是业务模式里的表现形式。在ES里，父-子关系的数据实际上是放在同一个索引index里的，无论nested或join类型的数据。在ES里已经没有数据表（doc_type）的概念。但从操作层面上ES提供了relation类型来支持父-子数据关系操作。所以，nested数据类型一般用来表达比较固定的嵌入数据。因为每...
2020-05-23 09:35:32
266
原创 search（15）- elastic4s-sorting buckets
聚合结果buckets默认以doc_count排序方式呈现，即：_count asc 表达。其它还有 _term, _key 为排序控制元素。_key适用于histogram,date_histogram，如下：POST /cartxns/_search{ "aggs": { "colors": { "terms": { "field": "color.keyword", "order": { "_count": "...
2020-05-18 15:57:11
190
原创 search（14）- elastic4s-统计范围：global, filter,post-filter bucket
聚合一般作用在query范围内。不带query的aggregation请求实际上是在match_all{}查询范围内进行统计的：GET /cartxns/_search{ "aggs": { "all_colors": { "terms": {"field" : "color.keyword"} } } }}GET /cartxns/_search{ "query": { "match_all": {} }, "aggs": {..
2020-05-16 22:40:30
293
原创 search（13）- elastic4s-histograms：聚合直方图
在聚合的分组统计中我们会面临两种分组元素类型：连续型如时间，自然数等、离散型如地点、产品等。离散型数据本身就代表不同的组别，但连续型数据则需要手工按等长间隔进行切分了。下面是一个按价钱段聚合的例子：POST /cartxns/_search{ "size" : 1, "aggs": { "sales_per_pricerange": { "histogram": { "field": "price", "interval": 20000
2020-05-15 21:26:13
274
原创 search（12）- elastic4s-聚合=桶+度量
这篇我们介绍一下ES的聚合功能（aggregation）。聚合是把索引数据可视化处理成可读有用数据的主要工具。聚合由bucket桶和metrics度量两部分组成。所谓bucket就是SQL的GROUPBY，如下：GET /cartxns/_search{ "size" : 2, "aggs": { "color": { "terms": {"field": "color.keyword"} } }}... "aggregations" : {.
2020-05-12 22:09:24
266
原创 search（11）- elastic4s-模糊查询
很多时候搜索用户对查询语句具有模糊感觉，他们只能提供大约的描述。比如一个语句的部分，或者字句顺序颠倒等。通过模糊查询可以帮助用户更准确的找出他们希望搜索的结果。模糊查询包括前后缀，语句（phrase）查询。前缀查询在非文本查询和全文查询字段中使用是有着不同的效果：在非文本字段查询中我们需要严格按照词字顺序进行匹配，而全文查询中由于目标字段在构建索引时已经进行了分词处理，所以匹配是在分词中进行匹配的。下面是一些非文本前后缀查询的例子：POST /bank/_search{ "query" ..
2020-05-10 21:17:57
246
原创 search（10）- elastic4s-multi_match：多字段全文搜索
在全文搜索中我们常常会在多个字段中匹配同一个查询条件或者在不同的字段中匹配不同的条件。比如下面这个例子：GET /books/_search{ "query": { "bool": { "should": [ { "match": { "title": "和平战争" }}, { "match": { "author": "托斯泰" }} ] } } }我们可以用boolQuery来进行查询语句的组合。全..
2020-05-09 15:05:46
329
原创 search（9）- elastic4s logback-appender
前面写了个cassandra-appender，一个基于cassandra的logback插件。正是cassandra的分布式数据库属性才合适作为akka-cluster-sharding分布式应用的logger。所以，cassandra-appender核心功能就是对logback消息的存写部分了。同样，基于ES的logback-appender核心部分就是对ES的存写过程了。在ES里这个过程还...
2020-05-05 20:47:45
390
原创 search（8）- elastic4s-search-query模式
上篇提过query模式除对记录的筛选之外还对符合条件的记录进行了评分，即与条件的相似匹配程度。我们把评分放在后面的博文中讨论，这篇我们只介绍query查询。查询可以分为绝对值查询和全文查询：绝对值查询是指非text类型字段的查询，全文查询一般指对于text字段的查询。如果需要对text字段进行绝对值查询的话可以用fields在text字段下定义一个keyword字段。text类型字段在建索...
2020-04-28 08:55:10
597
原创 search（7）- elastic4s-search-filter模式
现在我们可以进入探讨ES的核心环节：搜索search了。search又分filter,query两种模式。filter模式即筛选模式：将符合筛选条件的记录作为结果找出来。query模式则分两个步骤：先筛选，然后对每条符合条件记录进行相似度计算。就是多了个评分过程。如果我们首先要实现传统数据库的查询功能的话，那么用filter模式就足够了。filter模式同样可以利用搜索引擎的分词功能产生高质...
2020-04-26 21:19:01
343
原创 search（6）- elastic4s-CRUD
这篇示范一下elastic4s的CRUD操作。在这之前先更正一下上篇中关于检查索引是否存在的方法。elastic4s的具体调用如下： //删除索引 val rspExists = client.execute(indexExists("company")).await if (rspExists.result.exists) client.execute(dele...
2020-04-21 21:14:12
206
原创 search（5）- elastic4s-构建索引
按照计划，这篇开始尝试用elastic4s来做一系列索引管理和搜索操作示范。前面提过，elastic4s的主要功能之一是通过组合Dsl语句形成json请求。那么我们先试试组合一些Dsl语句，再想办法产生出json请求文本，然后在kibana控制台中验证它的正确性。首先看看elastic4s提供的一个show函数： def show(implicit handler: Handl...
2020-04-18 20:17:26
143
原创 search（4）- elastic4s-ElasticDsl
上次分析了一下elastic4s的运算框架。本来计划接着开始实质的函数调用示范，不过看过了Elastic4s的所有使用说明文档后感觉还是走的快了一点。主要原因是elasticsearch在7.0后有了很多重点调整改变，elastic4s虽然一直在源代码方面紧跟ES的变化，但使用文件却一直未能更新，所以从说明文档中学习elastic4s的使用方法是不可能的，必须从源码中摸索。花了些时间过了一次...
2020-04-16 22:05:48
238
原创 search（3）- elastic4s-QueryDSL
elastic4s是elasticsearch一个第三方开发的scala语言终端工具库（Elastic4s is a concise, idiomatic, reactive, type safe Scala client for Elasticsearch.）。scala用户可以用elastic4s提供的DSL用编程代码形式来构建ES服务请求。与字符型json文本直接编写请求不同的是：在编译...
2020-03-22 22:29:26
201
原创 search（2）- elasticsearch scala终端：elastic4s
上篇谈到：elasticsearch本身是一个完整的搜索平台，操作使用是通过终端api进行的。elasticsearch本身提供了多种编程语言的api，包括java的esjava。而elastic4s是一套基于esjava之上的scala api。先看看scala es-client ElasticClient的构建过程： import com.sksamuel.elastic4...
2020-03-21 12:13:53
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人