乐优商城（10）--数据同步

乐优商城（10）–数据同步

一、RabbitMQ

1.1、问题分析

目前已经完成了商品详情和搜索系统的开发。思考一下，是否存在问题？

• 商品的原始数据保存在数据库中，增删改查都在数据库中完成。
• 搜索服务数据来源是索引库，如果数据库商品发生变化，索引库数据不能及时更新。
• 商品详情做了页面静态化，静态页面数据也不会随着数据库商品发生变化。

如果在后台修改了商品的价格，搜索页面和商品详情页显示的依然是旧的价格，这样显然不对。该如何解决？

这里有两种解决方案：

• 方案1：每当后台对商品做增删改操作，同时要修改索引库数据及静态页面
• 方案2：搜索服务和商品页面服务对外提供操作接口，后台在商品增删改后，调用接口

以上两种方式都有同一个严重问题：就是代码耦合，后台服务中需要嵌入搜索和商品页面服务，违背了微服务的独立原则。

所以，这里通过另外一种方式来解决这个问题：消息队列

1.2、消息队列（MQ）

什么是消息队列

消息队列，即MQ，Message Queue。

消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦。

结合前面所说的问题：

• 商品服务对商品增删改以后，无需去操作索引库或静态页面，只是发送一条消息，也不关心消息被谁接收。
• 搜索服务和静态页面服务接收消息，分别去处理索引库和静态页面。

如果以后有其它系统也依赖商品服务的数据，同样监听消息即可，商品服务无需任何代码修改。

AMQP和JMS

MQ是消息通信的模型，并不是具体实现。现在实现MQ的有两种主流方式：AMQP、JMS。

两者间的区别和联系：

• JMS是定义了统一的接口，来对消息操作进行统一；AMQP是通过规定协议来统一数据交互的格式
• JMS限定了必须使用Java语言；AMQP只是协议，不规定实现方式，因此是跨语言的。
• JMS规定了两种消息模型；而AMQP的消息模型更加丰富

常见MQ产品

• ActiveMQ：基于JMS
• RabbitMQ：基于AMQP协议，erlang语言开发，稳定性好
• RocketMQ：基于JMS，阿里巴巴产品，目前交由Apache基金会
• Kafka：分布式消息系统，高吞吐量

RabbitMQ

RabbitMQ是基于AMQP的一款消息管理系统

官网： http://www.rabbitmq.com/

官方教程：http://www.rabbitmq.com/getstarted.html

• RabbitMQ是一个开源的、在AMQP基础上完整的、可复用的企业消息系统
• 支持主流的操作系统，Linux、Windows、MacOS等
• 多种开发语言支持，Java、Python、Ruby、.NET、PHP、C/C++、node.js等
• （按理说应该采用RocketMQ，但未学习0.0）

1.3、下载和安装

下载

官网下载地址：http://www.rabbitmq.com/download.html

安装

1. 安装Erlang环境

   yum -y install epel-release
   #使用以下命令安装Erlang
   yum -y install erlang socat
   #使用以下命令检查Erlang版本
   erl -version
   

2. 将安装包上传至/usr/local/leyou目录下的rabbitmq目录

   cd /usr/local/leyou
   mkdir rabbitmq
   cd rabbitmq
   

3. 输入命令安装：

   rpm -ivh rabbitmq-server-3.4.1-1.noarch.rpm
   

4. 将配置文件模板复制到etc目录：

   cp /usr/share/doc/rabbitmq-server-3.4.1/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
   

5. 通过vim命令编辑：

   vim /etc/rabbitmq/rabbitmq.config
   #注意要去掉后面的逗号
   

   

6. 启动命令

   service rabbitmq-server start
   service rabbitmq-server stop
   service rabbitmq-server restart
   

7. 开启web管理界面，RabbitMQ提供了用来管理的控制界面，十分方便，不过默认是关闭的。

   通过命令开启web管理插件：

   rabbitmq-plugins enable rabbitmq_management
   

   然后重启RabbitMQ：

   service rabbitmq-server restart
   

8. 记得开放阿里云端口5672和15672

登录管理界面

第一次访问需要登录，默认的账号密码为：guest/guest

• Connections：无论生产者还是消费者，都需要与RabbitMQ建立连接后才可以完成消息的生产和消费，在这里可以查看连接情况
• Channels：通道，建立连接后，会形成通道，消息的投递获取依赖通道。
• Exchanges：交换机，用来实现消息的路由
• Queues：队列，即消息队列，消息存放在队列中，等待消费，消费后被移除队列。

1. 添加用户

   

上面的Tags选项，其实是指定用户的角色，可选的有以下几个：

• 超级管理员(administrator)

  可登陆管理控制台，可查看所有的信息，并且可以对用户，策略(policy)进行操作。

• 监控者(monitoring)

  可登陆管理控制台，同时可以查看rabbitmq节点的相关信息(进程数，内存使用情况，磁盘使用情况等)

• 策略制定者(policymaker)

  可登陆管理控制台, 同时可以对policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)。

• 普通管理者(management)

  仅可登陆管理控制台，无法看到节点信息，也无法对策略进行管理。

• 其他

  无法登陆管理控制台，通常就是普通的生产者和消费者。

2. 创建虚拟主机（Virtual Hosts）

   为了让各个用户可以互不干扰的工作，RabbitMQ添加了虚拟主机（Virtual Hosts）的概念。其实就是一个独立的访问路径，不同用户使用不同路径，各自有自己的队列、交换机，互相不会影响。

   

   创建好虚拟主机，还要给用户添加访问权限：

   点击添加好的虚拟主机：

   

   进入虚拟主机设置界面：

   

3. 最终结果

   

二、五种消息模型

具体了解可以导入Demo工程，这里简单介绍下各模型的特点

2.1、基本消息模型

官方介绍：

RabbitMQ是一个消息代理：它接受和转发消息。 你可以把它想象成一个邮局：当你把邮件放在邮箱里时，你可以确定邮差先生最终会把邮件发送给你的收件人。 在这个比喻中，RabbitMQ是邮政信箱，邮局和邮递员。

RabbitMQ与邮局的主要区别是它不处理纸张，而是接受，存储和转发数据消息的二进制数据块。

P（producer/ publisher）：生产者，一个发送消息的用户应用程序。

C（consumer）：消费者，消费和接收有类似的意思，消费者是一个主要用来等待接收消息的用户应用程序

队列（红色区域）：rabbitmq内部类似于邮箱的一个概念。虽然消息流经rabbitmq和你的应用程序，但是它们只能存储在队列中。队列只受主机的内存和磁盘限制，实质上是一个大的消息缓冲区。许多生产者可以发送消息到一个队列，许多消费者可以尝试从一个队列接收数据。

总之：

生产者将消息发送到队列，消费者从队列中获取消息，队列是存储消息的缓冲区。

消息确认机制（ACK）

• 自动ACK：消息一旦被接收，消费者自动发送ACK
• 手动ACK：消息接收后，不会发送ACK，需要手动调用

2.2、work消息模型

工作队列或者竞争消费者模式

在基本消息模型中，从一个命名队列中发送并接受消息。该模型中，将创建一个工作队列，在多个工作者之间分配耗时任务。

工作队列，又称任务队列。主要思想就是：尽可能的减少执行资源密集型任务时的等待时间。将任务封装为消息并发送到队列，在后台的工作进程将弹出任务并进行作业。当运行很多worker时，任务将在它们之间共享。

这个概念在Web应用程序中特别有用，因为在短的HTTP请求窗口中无法处理复杂的任务。

面试题：如何避免消息堆积？

1） 采用workqueue，多个消费者监听同一队列。

2）接收到消息以后，通过线程池，异步消费。

2.3、订阅模型分类

订阅模型示意图：

解读：

1、1个生产者，多个消费者

2、每一个消费者都有自己的一个队列

3、生产者没有将消息直接发送到队列，而是发送到了交换机

4、每个队列都要绑定到交换机

5、生产者发送的消息，经过交换机到达队列，实现一个消息被多个消费者获取的目的

X（Exchanges）：交换机一方面：接收生产者发送的消息。另一方面：知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。

Exchange类型有以下几种：

Fanout：广播，将消息交给所有绑定到交换机的队列

Direct：定向，把消息交给符合指定routing key 的队列 

Topic：通配符，把消息交给符合routing pattern（路由模式） 的队列

Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

2.4、订阅模型-Fanout

Fanout，也称为广播。

流程图：

在广播模式下，消息发送流程是这样的：

• 1） 可以有多个消费者
• 2） 每个消费者有自己的queue（队列）
• 3） 每个队列都要绑定到Exchange（交换机）
• 4） 生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定。
• 5） 交换机把消息发送给绑定过的所有队列
• 6） 队列的消费者都能拿到消息。实现一条消息被多个消费者消费

2.5、订阅模型-Direct

有选择性的接收消息

在订阅模式中，生产者发布消息，所有消费者都可以获取所有消息。

在路由模式中，添加了一个功能 - -只能订阅一部分消息。 例如，将重要的错误消息引导到日志文件（以节省磁盘空间），但同时仍然能够在控制台上打印所有日志消息。

但是，在某些场景下，会希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。

在Direct模型下，队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）

消息的发送方在向Exchange发送消息时，也必须指定消息的routing key。

P：生产者，向Exchange发送消息，发送消息时，会指定一个routing key。

X：Exchange（交换机），接收生产者的消息，然后把消息递交给 与routing key完全匹配的队列

C1：消费者，其所在队列指定了需要routing key 为 error 的消息

C2：消费者，其所在队列指定了需要routing key 为 info、error、warning 的消息

2.6、订阅模型-Topic

Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符！

Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert

通配符规则：

`#`：匹配一个或多个词

`*`：匹配不多不少恰好1个词

举例：

`audit.#`：能够匹配`audit.irs.corporate` 或者 `audit.irs`

`audit.*`：只能匹配`audit.irs`

持久化

如何避免消息丢失？

1） 消费者的ACK机制。可以防止消费者丢失消息。

2） 但是，如果在消费者消费之前，MQ就宕机了，消息就没了。

要将消息持久化，前提是：队列、Exchange都持久化

2.7、总结

生产者：

获取连接

Connection connection = ConnectionUtil.getConnection();

获取通道

Channel channel = connection.createChannel();

模型选择

如果是基本消息模型和work消息模型，那么就需要声明一个队列，然后将信息发布到队列当中，因为消费者是直接在队列里面拿信息

 channel.queueDeclare("队列名字", false, false, false, null);

queueDeclare的源码：

    public com.rabbitmq.client.AMQP.Queue.DeclareOk queueDeclare(String queue, boolean durable, boolean exclusive, boolean autoDelete, Map<String, Object> arguments) throws IOException {
   
        com.rabbitmq.client.AMQP.Queue.DeclareOk ok