RabbitMQ学习心得——发布/订阅(上)

今天来介绍RabbitMQ的第三种工作方式:发布/订阅(使用 扇形交换机

一、交换机

在开始之前,我们要先简单的介绍一下交换机(在简介教程中有介绍)。前面我们也提到了生产者是把消息发送给交换机,然后交换机分发给与之绑定的队列。前面使用的都是默认交换机(名字为空字符串),我们弱化了对他的理解。那时我们可以理解成生产者直接把消息发送给队列。现在是时候介绍RabbitMQ中完整的消息模型了。让我们简单的概括一下之前的教程:

  • 发布者(producer):是发布消息的应用程序。
  • 队列(queue):用于消息存储的缓冲。
  • 消费者(consumer):是接收消息的应用程序。

    RabbitMQ消息模型的核心理念是:发布者(producer)不会直接发送任何消息给队列。事实上,发布者(producer)甚至不知道消息是否已经被投递到队列。

    发布者(producer)只需要把消息发送给一个交换机(exchange)。交换机非常简单,它一边从发布者方接收消息,一边把消息推送到队列。交换机必须知道如何处理它接收到的消息,是应该推送到指定的队列还是是多个队列,或者是直接忽略消息。这些规则是通过交换机类型(exchange type)来定义的。

    架构图如下:

    有几个可供选择的交换机类型:直连交换机(direct), 主题交换机(topic), (头交换机)headers和 扇型交换机(fanout)。(关于交换机的介绍,前面的教程里有)

    二、实现目标

    今天我们用扇形交换机实现一个日志系统,扇型交换机(fanout)很简单,它把消息发送给它所知道的所有队列。这正是我们的日志系统所需要的。

    它包括两个程序——第一个程序负责发送日志消息,第二个程序负责获取消息并输出内容。

    在我们的这个日志系统中,所有正在运行的接收方程序都会接受消息。我们用其中一个接收者(receiver)把日志写入硬盘中,另外一个接受者(receiver)把日志输出到屏幕上。最终,日志消息被广播给所有的接受者(receivers)。

    三、架构描述

    • X:代表扇形交换机,接受P发送的消息。

    四、准备

    • 在本地启动rabbit-server
    • 安装rabbitmq客户端。选用pika。

    五、代码实现

    • emit_log.py
    # coding=utf-8
    import pika
    import sys
    import time
    
    # 连接服务器
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    # 声明一个名为logs的扇形交换机
    channel.exchange_declare(exchange='logs',
                             type='fanout')
    while True:
        message = ' '.join(sys.argv[1:]) or "info: Hello World!"
        channel.basic_publish(exchange='logs',
                              routing_key='',
                              body=message)
        print " [x] Sent %r" % (message,)
        time.sleep(5)       # 5s发送一次消息
    
    • receive_logs.py
    # coding=utf-8
    import pika
    import time
    
    # 连接服务器
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    
    channel.exchange_declare(exchange='logs',
                             type='fanout')
    
    # 声明一个队列
    result = channel.queue_declare(exclusive=True)
    queue_name = result.method.queue
    
    # 队列绑定交换机
    channel.queue_bind(exchange='logs',
                       queue=queue_name)
    
    print ' [*] Waiting for logs. To exit press CTRL+C'
    
    
    def callback(ch, method, properties, body):
        print " [x] %r" % (body,)
    
    channel.basic_consume(callback,
                          queue=queue_name,
                          no_ack=True)
    # 运行回调函数的无限循环
    channel.start_consuming()
    
    • 运行

    我们打开是三个终端,一个用来发送日志(emit_log.py)。另外两个(receive_logs.py),一个把日志显示到屏幕上,一个是把日志保存到文件中。

    接受消息,输出到控制台

    接受消息,写到文件内(好像并没写进去,原因不明)

    发送消息

    • 疑难解惑
    # 声明一个名为logs的扇形交换机
    channel.exchange_declare(exchange='logs',
                             type='fanout')
    

    声明一个交换机,类型为fanout(扇形),名字为logs。


    # 声明一个队列
    result = channel.queue_declare(exclusive=True)
    queue_name = result.method.queue
    

    可以发现我们声明队列的代码与之前有点不太一样。前面的代码声明队列时给出了队列名,而今天没有给出,因为今天我们声明的是临时队列。因为那样并不适用于我们的日志系统。我们打算接收所有的日志消息,而不仅仅是一小部分。我们关心的是最新的消息而不是旧的

    因此,当我们连接上RabbitMQ的时候,我们需要一个全新的、空的队列。我们可以手动创建一个随机的队列名,或者让服务器为我们选择一个随机的队列名(推荐)。我们只需要在调用queue_declare方法的时候,不提供queue参数就可以了(这样每启动一个receive_logs.py,就会声明一个队列)。

    然后,当与消费者(consumer)断开连接的时候,这个队列应当被立即删除。exclusive标识符即可达到此目的。(因为需要的是最新的消息)


    # 队列绑定交换机
    channel.queue_bind(exchange='logs',
                       queue=queue_name)
    

    我们创建了一个扇型交换机(fanout)和一个队列。我们需要告诉交换机如何发送消息给我们的队列。交换器和队列之间的联系我们称之为绑定(binding)。绑定之后,logs交换机将会把消息添加到与之绑定的队列中。

    你可以使用rabbitmqctl list_bindings 列出所有现存的绑定。

    另注:

    也许,你会发现我们在发送消息的程序中,并未声明队列(这和前面的例子在两个程序中都声明队列有点不一样)。这是因为我们知道RabbitMQ的运行原理后,我们是把消息发送到交换机中,而不是发送到队列中。而且本次例子需要多个队列。所以在发送消息的程序中就不用声明队列了。

在使用Python来安装geopandas包时,由于geopandas依赖于几个其他的Python库(如GDAL, Fiona, Pyproj, Shapely等),因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南,适用于大多数用户: 使用pip安装 确保Python和pip已安装: 首先,确保你的计算机上已安装了Python和pip。pip是Python的包管理工具,用于安装和管理Python包。 安装依赖库: 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库,你可能需要先安装这些库。通常,你可以通过pip直接安装这些库,但有时候可能需要从其他源下载预编译的二进制包(wheel文件),特别是GDAL和Fiona,因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意:在某些系统上,直接使用pip安装GDAL和Fiona可能会遇到问题,因为它们需要编译一些C/C++代码。如果遇到问题,你可以考虑使用conda(一个Python包、依赖和环境管理器)来安装这些库,或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas: 在安装了所有依赖库之后,你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器,那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境(可选,但推荐): bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas: 使用conda-forge频道来安装geopandas,因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题,比如编译错误或依赖问题,请检查你的Python版本和pip/conda的版本是否是最新的,或者尝试在不同的环境中安装。 某些库(如GDAL)可能需要额外的系统级依赖,如地理空间库(如PROJ和GEOS)。这些依赖可能需要单独安装,具体取决于你的操作系统。 如果你在Windows上遇到问题,并且pip安装失败,尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件,并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas,但如果你想要一个Python脚本来重命名文件夹下的文件,在原始名字前面加上字符串"geopandas",以下是一个简单的示例: python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值