分布式技术原理与算法解析-学习笔记(四)分布式通讯技术

远程调用

远程调用是进程间函数的互相调用，是进程间通讯（IPC）的一种方式

远程过程调用（RPC）

是指不同机器中运行的进程之间的相互通信，某一机器上运行的进程在不知道底层通信细节的情况下，
就像访问本地服务一样，去调用远程机器上的服务

原理

将底层通讯细节进行封装，使用户对底层通讯无感知，底层通过Client Stub 和Server Stub进行数据打包，并通过网络协议进行传输

适用范围

与操作系统和语言无关

调用方式

请求基于“类名+函数名”（ID）的方式实现，被调用方搜索与之相匹配的类和方法，然后执行

返回方式

XDR :External Data Representation,一种可以在不同计算机系统间传输的数据格
式

RMI

RMI 是一个基于 Java 环境的应用编程接口，能够让本地 Java 虚拟机上运行的对象，像调
用本地对象一样调用远程 Java 虚拟机上的对象

本质是基于 对象的PRC的具体实现

• 适用范围：用于Java环境
• RMI 与 PRC 最大的不同在于调用方式和返回结果的形式，RMI 通
  过对象作为远程接口来进行远程方法的调用，返回的结果也是对象形式，可以是 Java 对象
  类型，也可以是基本数据类型

发布订阅

发布订阅的是三要素：生产者、消费者、消息中心

原理

点对点模式：支持多个消费者，但一条消息只能被一个消费者消费，不允许重复消费
发布订阅模式：一条消息可以被多个订阅的消费者进行消费

Kafka

• 生产者：发布的消息到Broker
• 消费者：向Broker订阅消息
  • 消费者组： 共同消费消息，主题中每条消息只能由消费组中的某一个消费者进行消费
    • 提高消费效率
• 消息中信Broker： 存储消息，并推送给订阅的Consumer
  • 主题Topic： 逻辑概念，指的是消息类型
  • 分区Partition： 物理概念，一个Topic包含多个分区
    • 作用
      • 实现负载均衡，避免单个Broker上的负载过高
      • 实现消息备份，从而保证系统高可用
• Zookeeper 集群
• 协调和管理Broker 和 Consumer

特征与应用

• 系统解耦，系统易于维护
• 异步执行，解决高负载问题

消息队列

队列是一种具有先进先出特点的数据结构**，消息队列是基于队列实现的，存储具有特定格式的消息数据**

组成

• 生产者
• 消息队列： 一种具有先进先出特点的的数据结构，用于存储消息
• 消费者： 从消息队列中获取消息或者数据，进行相关处理

具体流程

生产者将发送的消息插入消息队列，也就是入队，之后会有一个消费者从消息队列中去除消息进行处理，完成出队

RoketMQ

组成

• Broker Cluster
  • 作用：负责存储Producter Cluster 发布的消息，以方便消费者进行消费
  • 内部结构：主题Topic+ 消息队列Queue
• Producter Cluster
  • 作用：负责接受用户数据，然后将数据发布到消息队列中心Broker Cluster
• NameServer Cluster
  • 管理Broker的信息，包括有哪些Broker，Broker的地址和状态等，以方便生产者获取Broker信息发布消息，以及订阅者根据Broker信息获取消息
• Consumer Cluster
  • 负责从Broker 中获取消息进行消费。Consumer 以集群方式进行部署的好处是，提升消费者的消费能力，以避免消息队列中心存储溢出，消息被丢弃。

流程

• 首先启动 NameServer，然后启动 Broker。Broker 启动后，会主动找 NameServer 建立连接，并将自己的信息注册到 NameServer 上。注册完毕后，Broker 会周期性地给

  NameServer 发送心跳包

• 创建主题，并确定这个主题的数据放入哪些 Broker 中

• 当 Producer 生产消息发送到主题时，需要先到 NameServer 查询该主题存放在哪些Broker 中，获取到相关 Broker 信息后，将消息发送给这些 Broker 进行存储

• Consumer 要从主题消费消息，也需要首先到 NameServer 查询一下该主题的消息存储

  在哪些 Broker 上，然后去相应的 Broker 获取消息进行消费。

使用场景

购物交易，钱包充值，消息推送