Akka-Cluster（0）- 分布式应用开发的一些想法

最新推荐文章于 2023-12-25 23:41:10 发布
最新推荐文章于 2023-12-25 23:41:10 发布
阅读量124 收藏
点赞数
文章标签： 网络 数据库 netty
原文链接：http://www.cnblogs.com/tiger-xc/p/9834456.html
版权

  当我初接触akka-cluster的时候，我有一个梦想，希望能充分利用actor自由分布、独立运行的特性实现某种分布式程序。这种程序的计算任务可以进行人为的分割后再把细分的任务分派给分布在多个服务器上的actor上去运算。这些服务器都处于同一集群环境里，它们都是akka-cluster中的节点（node）。akka-cluster的节点数量只需要通过系统配置方式按照计算能力要求随意增减，在集群上运行的分布式程序可以在不修改软件的情况下自动调整actors在各节点上的分布，重新平衡程序运算负载，不受任何影响继续运行。

   在前面akka系列的博客里也介绍了一些akka-cluster的情况，最近在“集群环境内编程模式(PICE)”的专题系列里又讨论了如何在集群环境里通过protobuf-gRPC把多个不同类型的数据库服务集成起来。因为集群中的数据库服务是用akka-stream连接的，我们把程序与数据一起作为stream的流元素用Flow发送给相应的数据库服务进行处理。这时一个想法就产生了：当数据库服务接收了一项服务要求后（假设数据处理多是耗时、耗资源的任务）可以对任务进行分割，然后把这些小任务再分发给所属集群内的多个节点上去运算，再按计算要求收集，汇总结果。那么如果能按用户数量和运算任务的规模来任意添减服务器数量就能满足任何规模的运算需求了。最重要的是这种集群节点规模调整必须是某种配置方式，即通过修改配置文件，但不需要修改软件代码。这些需要恰恰又是akka-cluster的特殊能力。所以决定开个akka-cluster的专题系列来具体讨论集群环境下的分布式软件开发模式。

akka-cluster提供的以下几种方式比较符合我们的要求：

1、distributed pub/sub - 分布式发布订阅模式

2、cluster-singleton - 单例actor模式

3、cluster-load-balancing - 集群负载均衡模式

4、cluster-sharding - 集群分片模式

在这个系列下面的博客里我们会逐个模式讨论它们在具体编程的使用细节。但首先探讨一下如何通过配置文件来定义akka-cluster节点，实现集群规模调整。

集群节点（cluster node）的生命周期会经历以下阶段：

Joining->Up，Leaving->Exiting，Exiting->Removed，Unreachable->Up，Unreachable->Down，Down->Removed

下面我们就用运行在不同集群节点的actor，通过订阅系统的集群成员状态转换消息来观察每个节点的状态转变：

class EventListener extends Actor with ActorLogging {
  import EventListner._

  val cluster = Cluster(context.system)

  override def preStart(): Unit = {
    cluster.subscribe(subscriber = self,initialStateMode = InitialStateAsEvents
    ,classOf[MemberEvent],classOf[UnreachableMember])
    super.preStart()
  }
  override def postStop(): Unit = {
    cluster.unsubscribe(self)
    super.postStop()
  }

  override def receive: Receive = {
    case MemberJoined(member) =>
      log.info("{} is JOINING...", member.address)
    case MemberUp(member) =>
      log.info("{} is UP!", member.address)
    case MemberWeaklyUp(member) =>
      log.info("{} is weakly UP!", member.address)
    case MemberLeft(member) =>
      log.info("{} is LEAVING...", member.address)
    case MemberExited(member) =>
      log.info("{} is EXITING...", member.address)
    case MemberRemoved(member, prevStatus) =>
      log.info("{} is REMOVED! from state {}", member.address, prevStatus)
    case UnreachableMember(member) =>
      log.info("{} is UNREACHABLE!", member.address)
    case ReachableMember(member) =>
      log.info("{} is REACHABLE!", member.address)
    case UnreachableDataCenter(datacenter) =>
      log.info("Data Center {} is UNREACHABLE!", datacenter)
    case ReachableDataCenter(datacenter) =>
      log.info("Data Center {} is REACHABLE!", datacenter)
    case Leave =>
      cluster.leave(cluster.selfAddress)
      log.info("{} is asked to leave cluster.",cluster.selfAddress)
    case Down =>
      cluster.down(cluster.selfAddress)
      log.info("{} is asked to shutdown cluster.",cluster.selfAddress)
  }

}

Leave和Down是自定义消息类型：

object EventListner {
  trait Messages {}
  case object Leave extends Messages
  case object Down extends Messages
  def props = Props(new EventListener)
...
}

akka-cluster最基本的配置文件内容如下：

akka {
  actor {
    provider = "cluster"
  }
  remote {
    log-remote-lifecycle-events = off
    netty.tcp {
      hostname = "localhost"
      port = 2551
    }
  }
  cluster {
    seed-nodes = [
      "akka.tcp://ClusterSystem@localhost:2551"]
  }
}

实际上hostname,port,seed-nodes这些参数都可以在程序里配置，如果有需要，我们只要在配置文件里注明这是一个集群模式的程序就行了，其它参数放到程序里去定义：

akka {
  actor {
    provider = "cluster"
  }
}

然后我们可以在程序里配置缺失的集群参数：

object EventListner {
  trait Messages {}
  case object Leave extends Messages
  case object Down extends Messages
  def props = Props(new EventListener)

def create(host: String = "localhost", port: Int = 0, seednode: String = "") = {
    var config = ConfigFactory.parseString(s"akka.remote.netty.tcp.hostname=${host}")
                 .withFallback(ConfigFactory.parseString(s"akka.remote.netty.tcp.port=${port}"))
    if (seednode.length > 0) {
      val strConfig = "akka.cluster.seed-nodes=[\"" + seednode + "\"]"
      val configSeed = ConfigFactory.parseString(strConfig)
      config = config.withFallback(configSeed)
    }
    config = config.withFallback(ConfigFactory.load("akka-cluster-config"))
    val clusterSystem = ActorSystem(name="ClusterSystem",config=config)
    clusterSystem.actorOf(Props[EventListener])
  }

}

在create函数里ConfigFactory.parseString可以把一个字符串转换成集群配置参数，多个参数可以用withFallback来补充定义。

以下是EventListener的测试程序：

import EventListner._
object EventDemo extends App {

  val listner1 = EventListner.create(port = 2551)  //seed node
  scala.io.StdIn.readLine()
  val listner2 = EventListner.create()    //port=0 random port
  scala.io.StdIn.readLine()
  val listner3 = EventListner.create()    //port=0 random port

  scala.io.StdIn.readLine()

  listner3 ! Leave
  scala.io.StdIn.readLine()

  listner2 ! Down
  scala.io.StdIn.readLine()

  listner1 ! Leave
  scala.io.StdIn.readLine()

}

第一个运行的必须是seednode，因为每个节点在启动时都需要连接seednode。下面是每个阶段的输出结果：

[INFO] [10/22/2018 18:50:40.888] [main] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Started up successfully
[INFO] [10/22/2018 18:50:40.931] [ClusterSystem-akka.actor.default-dispatcher-3] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Node [akka.tcp://ClusterSystem@localhost:2551] is JOINING itself (with roles [dc-default]) and forming new cluster
[INFO] [10/22/2018 18:50:40.933] [ClusterSystem-akka.actor.default-dispatcher-3] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Cluster Node [akka.tcp://ClusterSystem@localhost:2551] dc [default] is the new leader
[INFO] [10/22/2018 18:50:40.943] [ClusterSystem-akka.actor.default-dispatcher-3] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Leader is moving node [akka.tcp://ClusterSystem@localhost:2551] to [Up]
[INFO] [10/22/2018 18:50:41.037] [ClusterSystem-akka.actor.default-dispatcher-4] [akka.tcp://ClusterSystem@localhost:2551/user/$a] akka.tcp://ClusterSystem@localhost:2551 is UP!
[INFO] [10/22/2018 18:50:47.363] [ClusterSystem-akka.actor.default-dispatcher-23] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51679 is JOINING...
[INFO] [10/22/2018 18:50:47.930] [ClusterSystem-akka.actor.default-dispatcher-4] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Leader is moving node [akka.tcp://ClusterSystem@localhost:51679] to [Up]
[INFO] [10/22/2018 18:50:47.931] [ClusterSystem-akka.actor.default-dispatcher-2] [akka.tcp://ClusterSystem@localhost:2551/user/$a] akka.tcp://ClusterSystem@localhost:51679 is UP!
[INFO] [10/22/2018 18:50:48.109] [ClusterSystem-akka.actor.default-dispatcher-24] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51679 is UP!
[INFO] [10/22/2018 18:50:53.765] [ClusterSystem-akka.actor.default-dispatcher-17] [akka.tcp://ClusterSystem@localhost:51681/user/$a] akka.tcp://ClusterSystem@localhost:51681 is JOINING...
[INFO] [10/22/2018 18:50:53.930] [ClusterSystem-akka.actor.default-dispatcher-22] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51681 is JOINING...
[INFO] [10/22/2018 18:50:54.929] [ClusterSystem-akka.actor.default-dispatcher-2] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Leader is moving node [akka.tcp://ClusterSystem@localhost:51681] to [Up]
[INFO] [10/22/2018 18:50:54.929] [ClusterSystem-akka.actor.default-dispatcher-21] [akka.tcp://ClusterSystem@localhost:2551/user/$a] akka.tcp://ClusterSystem@localhost:51681 is UP!
[INFO] [10/22/2018 18:52:00.806] [ClusterSystem-akka.actor.default-dispatcher-32] [akka.tcp://ClusterSystem@localhost:51681/user/$a] akka.tcp://ClusterSystem@localhost:51681 is asked to leave cluster.
[INFO] [10/22/2018 18:52:00.807] [ClusterSystem-akka.actor.default-dispatcher-28] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51681] - Marked address [akka.tcp://ClusterSystem@localhost:51681] as [Leaving]
[INFO] [10/22/2018 18:52:00.808] [ClusterSystem-akka.actor.default-dispatcher-42] [akka.tcp://ClusterSystem@localhost:51681/user/$a] akka.tcp://ClusterSystem@localhost:51681 is LEAVING...
[INFO] [10/22/2018 18:52:00.809] [ClusterSystem-akka.actor.default-dispatcher-3] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51679 is asked to shutdown cluster.
[INFO] [10/22/2018 18:52:00.809] [ClusterSystem-akka.actor.default-dispatcher-16] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51679] - Marking node [akka.tcp://ClusterSystem@localhost:51679] as [Down]
[INFO] [10/22/2018 18:52:00.810] [ClusterSystem-akka.actor.default-dispatcher-19] [akka.tcp://ClusterSystem@localhost:2551/user/$a] akka.tcp://ClusterSystem@localhost:51681 is LEAVING...
[INFO] [10/22/2018 18:52:00.933] [ClusterSystem-akka.actor.default-dispatcher-22] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51681 is LEAVING...
[INFO] [10/22/2018 18:52:01.101] [ClusterSystem-akka.actor.default-dispatcher-24] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51679] - Shutting down myself
[INFO] [10/22/2018 18:52:01.102] [ClusterSystem-akka.actor.default-dispatcher-24] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51679] - Shutting down...
[INFO] [10/22/2018 18:52:01.104] [ClusterSystem-akka.actor.default-dispatcher-24] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51679] - Successfully shut down
[INFO] [10/22/2018 18:52:01.110] [ClusterSystem-akka.actor.default-dispatcher-23] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:2551 is REMOVED! from state Up
[INFO] [10/22/2018 18:52:01.110] [ClusterSystem-akka.actor.default-dispatcher-23] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51679 is REMOVED! from state Down
[INFO] [10/22/2018 18:52:01.111] [ClusterSystem-akka.actor.default-dispatcher-23] [akka.tcp://ClusterSystem@localhost:51679/user/$a] akka.tcp://ClusterSystem@localhost:51681 is REMOVED! from state Leaving
[INFO] [10/22/2018 18:52:02.925] [ClusterSystem-akka.actor.default-dispatcher-17] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:2551] - Leader is moving node [akka.tcp://ClusterSystem@localhost:51681] to [Exiting]
[INFO] [10/22/2018 18:52:02.926] [ClusterSystem-akka.actor.default-dispatcher-19] [akka.tcp://ClusterSystem@localhost:2551/user/$a] akka.tcp://ClusterSystem@localhost:51681 is EXITING...
[INFO] [10/22/2018 18:52:02.927] [ClusterSystem-akka.actor.default-dispatcher-18] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51681] - Exiting, starting coordinated shutdown
[INFO] [10/22/2018 18:52:02.927] [ClusterSystem-akka.actor.default-dispatcher-21] [akka.tcp://ClusterSystem@localhost:51681/user/$a] akka.tcp://ClusterSystem@localhost:51681 is EXITING...
[INFO] [10/22/2018 18:52:02.934] [ClusterSystem-akka.actor.default-dispatcher-41] [akka.cluster.Cluster(akka://ClusterSystem)] Cluster Node [akka.tcp://ClusterSystem@localhost:51681] - Exiting completed

 

转载于:https://www.cnblogs.com/tiger-xc/p/9834456.html

weixin_30783913
关注
【Akka】Akka akka-cluster 集群工具
九师兄
10-12 234
写在这里为了方便自己查找。在集群运行时，及时了解所有的节点状态是非常有必要的，这通常由两种方式完成：API 及 cluster 命令行管理工具。
akka-cluster-singleton-example:Akka Cluster - 单例使用示例
06-29
akka-cluster-singleton-example Akka Cluster - 单例使用示例
Akka-Cluster（5）- load-balancing with backoff-supervised stateless computation - 无状态任务集群节点均衡分配...
weixin_30411997的博客
01-03 194
分布式程序运算是一种水平扩展（scale-out）运算模式，其核心思想是能够充分利用服务器集群中每个服务器节点的计算资源，包括：CPU、内存、硬盘、IO总线等。首先对计算任务进行分割，然后把细分的任务分派给各节点去运算。细分的任务相互之间可以有关联或者各自为独立运算，使用akka-cluster可以把任务按照各节点运算资源的负载情况进行均匀的分配，从而达到资源的合理充分利用以实现运...
从0开始搭建redis cluster集群
chishing943的博客
08-29 167
从0开始搭建redis cluster集群 1、VMware Workstation Pro 15安装centos7 系统版本CentOS-7-x86_64-Minimal-2003.iso 这是教程，我跟着做的，网卡那一刻特别要注意配置，不然ping命令不通的 2、安装docker 3、安装redis docker19搭建rediscluster5集群 1. 拉取镜像 docker pull redis 如果需要拉取指定版本，需要在redis后面添加版本号，如果不指定则拉取最新版本镜像，可以使用do
Akka 学习（九）Akka Cluster
长安不及十里的博客
12-12 3918
CAP理论是由Eric Brewer提出的，指的是一个分布式系统中的一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）之间的一个权衡。在分布式系统中，这三个概念是相互矛盾的，因此，系统必须在这三个概念之间进行权衡，以确定在特定情况下采取哪种策略。例如，在一个分布式系统中，如果要同时保证一致性和可用性，就必须牺牲分区容错性。
akka-cluster-minimal:Akka群集-绝对最小
05-18
最小Akka群集 Akka Cluster ...极小的设置... 运行种子节点： sbt run # default management.port = 19999 运行第二个节点： sbt -Dclustering.port=2553 -Dmanagement.port=20000 run 运行第三个节点： sbt -Dclustering.port=2554 -Dmanagement.port=20001 run 等等 通过curl访问Akka管理集群HTTP $ curl -XGET http://127.0.0.1:19999/cluster/members | python -mjson.tool $ curl -XGET http://127.0.0.1:20000/cluster/members | python -mjson.tool $ curl -X
akka-cluster-example:Akka Cluster - 简单示例
07-01
通过学习和理解这个示例项目，开发者可以深入掌握 Akka Cluster 的工作原理，以及如何利用其构建分布式、容错的应用程序。这不仅对理解和使用 Akka 非常有帮助，也对构建其他类型的分布式系统提供了一种强大的思考...
zio-akka-cluster：用于Akka群集的ZIO包装器
02-05
总之，`zio-akka-cluster`是将ZIO的纯函数式编程模型与Akka Cluster的分布式能力相结合的利器，它提供了开发和维护大规模、高可用性系统的一个高效且可靠的解决方案。通过深入理解和熟练使用这个库，开发者可以构建...
akka-typed-java-cluster:Akka Typed Java集群示例
05-09
Akka群集允许构建分布式应用程序，其中一个应用程序或服务跨越多个节点。 ” Akka文档中的以上段落包含了很多概念，这些概念最初可能很难引起您的注意。 考虑一下仅用两句话抛出的一些术语，例如“容错”，“分散...
akka-sample-cluster-java.zip
12-07
akka-cluster 2.53 demo，整理官网的akka 2.53版本 对并发模型进行了更高的抽象 是异步、非阻塞、高性能的事件驱动编程模型 是轻量级事件处理（1GB内存可容纳百万级别个Actor） 它提供了一种称为Actor的...
akkacluster:实现Akka集群的示例Java应用
05-02
Akkacluster 演示Akka集群分片的Java应用程序 安装 编译并生成压缩包 mvn clean install 将压缩文件解压缩到合适的目录中 mkdir -p ~/backend; cd ~/backend; tar xzvf $PATH_TO_REPO/akkacluster/backend/target/backend/target/akkacluster-$APP_VERSION.tar.gz mkdir -p ~/backend; cd ~/backend; tar xzvf $PATH_TO_REPO/akkacluster/backend/target/backend/target/akkacluster-$APP_VERSION.tar.gz mkdir -p ~/frontend; cd ~/frontend; tar xzvf $PATH_TO_REPO
cluster0.cpp
05-07
c++代码可直接运行，产生的簇类数量可选择，注释详细，可供学习k-means算法者参考，内含输入函数可将该程序改造成文本引入数据的模式，欢迎下载！
Akka cluster介绍
Simon
01-14 3726
akka cluster介绍 Akka Cluster提供了一个可容错、去中心化的，基于点对点的集群成员服务（membership service），解决了单点故障和单点瓶颈问题。 名词 ### node cluster的逻辑成员。 在一个物理机器上可能存在多个node。以 hostname:port:uid 的元组定义。在本文种，任何地方提到节点其含义等同于node。
【翻译】akka-cluster 部署于k8s（二）形成 Akka 集群
最新发布
qq_45888242的博客
12-25 237
形成 Akka 集群
akka java 集群例子,Java中使用akka手记二 Cluster
weixin_42300398的博客
03-12 391
基础知识2.3.2的cluster还有些想实现的东西没有实现，包括：actor分区(负载均衡) actor handoff(临时故障时的actor处理) actor重新平衡(增减节点时有用) actor状态复制机制(类似做M/S作用)2.3.2的cluster已经有的能力有：节点－集群－leader节点; membership; gossip协议同步状态; VECTOR CLOCKS保障顺序; 失...
Akka Cluster原理与应用
Simon
01-15 837
Akka集群原理  Akka集群支持去中心化的基于P2P的集群服务，没有单点故障（SPOF）问题，它主要是通过Gossip协议来实现。对于集群成员的状态，Akka提供了一种故障检测机制，能够自动发现出现故障而离开集群的成员节点，通过事件驱动的方式，将状态传播到整个集群的其它成员节点。 状态转移与故障检测 Akka内部为集群成员定义了一组有限状态（6种状态），并给出了一个状态转移矩
Akka（12）： 分布式运算：Cluster-Singleton-运算在集群节点中自动转移
TIGER_XC的专栏
07-10 1091
在很多应用场景中都会出现在系统中需要某类Actor的唯一实例（only instance）。这个实例在集群环境中可能在任何一个节点上，但保证它是唯一的。Akka的Cluster-Singleton提供对这种Singleton Actor模式的支持，能做到当这个实例所在节点出现问题需要脱离集群时自动在另一个节点上构建一个同样的Actor，并重新转交控制。当然，由于涉及了一个新构建的Actor，内部状态会在这个过程中丢失。Single-Actor的主要应用包括某种对外部只能支持一个接入的程序接口，或者一种带有由
AKKA Cluster 原理及实战
hohojiang的专栏
09-05 7560
Akka集群支持去中心化的基于P2P的集群服务，没有单点故障（SPOF）问题，它主要是通过Gossip协议和向量时钟（VECTOR CLOCKS）来实现。对于集群成员的状态，Akka提供了一种故障检测机制，能够自动发现出现故障而离开集群的成员节点，通过事件驱动的方式，将状态传播到整个集群的其它成员节点。关于GOSSIP PROTOCOL和向量时钟（VECTOR CLOCKS）： akka使用了一种
Akka入门指南：打造分布式并行应用
通过Akka的Cluster模块，Actor可以跨网络分布，形成一个分布式系统。Actor可以在集群中的任何节点上移动，这使得系统可以根据负载自动平衡，同时也提供了故障转移的能力。 在《Akka in Action》这本书中，读者将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值