DotPulsar用法示例

DotPulsar 提供了一些高级功能，可以帮助开发者在处理大规模消息流时更好地控制消息的生产、消费以及连接管理。以下是一些高级用法示例，涵盖了消息批量处理、分区消息、消费者组、压缩、重试机制等。

1. 批量发送与接收消息

批量发送和接收消息有助于提高吞吐量，减少网络延迟，尤其是在高并发环境下。

批量发送消息 (Producer)

using DotPulsar;
using System;
using System.Text;
using System.Collections.Generic;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

var producer = await client.NewProducer()
    .Topic("persistent://public/default/my-topic")
    .CreateAsync();

// 批量发送消息
List<byte[]> messages = new List<byte[]>();
for (int i = 0; i < 10; i++)
{
    messages.Add(Encoding.UTF8.GetBytes($"Message {i}"));
}

// 发送批量消息
await producer.SendAsync(messages.ToArray());
Console.WriteLine("Batch messages sent.");

批量接收消息 (Consumer)

using DotPulsar;
using System;
using System.Text;
using System.Collections.Generic;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

var consumer = await client.NewConsumer()
    .Topic("persistent://public/default/my-topic")
    .SubscriptionName("my-subscription")
    .SubscribeAsync();

while (true)
{
    var msgs = await consumer.BatchReceiveAsync(10); // 一次接收 10 条消息
    foreach (var msg in msgs)
    {
        Console.WriteLine($"Received message: {Encoding.UTF8.GetString(msg.Data)}");
        await consumer.AcknowledgeAsync(msg);
    }
}

2. 消息压缩

消息压缩可以减少消息的体积，特别适用于需要处理大量小消息的场景。

using DotPulsar;
using System;
using System.Text;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

var producer = await client.NewProducer()
    .Topic("persistent://public/default/my-topic")
    .CompressionType(CompressionType.Lz4)  // 设置消息压缩方式（LZ4）
    .CreateAsync();

string message = "Compressed message content";
await producer.SendAsync(Encoding.UTF8.GetBytes(message));
Console.WriteLine("Message sent with compression.");

3. 消费者分配与负载均衡 (消费组)

DotPulsar 支持通过 共享订阅（Shared Subscription）模式来实现消费者之间的负载均衡，多个消费者共同消费同一个主题的消息。

using DotPulsar;
using System;
using System.Text;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

var consumer = await client.NewConsumer()
    .Topic("persistent://public/default/my-topic")
    .SubscriptionName("shared-subscription")
    .SubscriptionType(SubscriptionType.Shared)  // 共享订阅模式
    .SubscribeAsync();

while (true)
{
    var msg = await consumer.ReceiveAsync();
    Console.WriteLine($"Received message: {Encoding.UTF8.GetString(msg.Data)}");
    await consumer.AcknowledgeAsync(msg);
}

在 共享订阅 模式下，多个消费者可以共同处理同一个主题的消息。每个消息只会被一个消费者处理。

4. 分区主题 (Partitioned Topics)

DotPulsar 支持对分区主题的访问，允许将数据分布在多个分区中进行更高效的并发处理。

生产者 (Producer)

using DotPulsar;
using System;
using System.Text;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

// 创建分区主题的生产者
var producer = await client.NewProducer()
    .Topic("persistent://public/default/my-partitioned-topic")
    .CreateAsync();

string message = "Message for partitioned topic";
await producer.SendAsync(Encoding.UTF8.GetBytes(message));
Console.WriteLine("Message sent to partitioned topic.");

消费者 (Consumer)

using DotPulsar;
using System;
using System.Text;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

// 创建分区主题的消费者
var consumer = await client.NewConsumer()
    .Topic("persistent://public/default/my-partitioned-topic")
    .SubscriptionName("partitioned-subscription")
    .SubscribeAsync();

while (true)
{
    var msg = await consumer.ReceiveAsync();
    Console.WriteLine($"Received message: {Encoding.UTF8.GetString(msg.Data)}");
    await consumer.AcknowledgeAsync(msg);
}

5. 消息延迟与重试机制

通过配置消费者的重试机制，可以确保消息在失败时能够被重试处理。DotPulsar 提供了 最大重试次数 和 重试间隔 的配置。

using DotPulsar;
using System;
using System.Text;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .BuildAsync();

var consumer = await client.NewConsumer()
    .Topic("persistent://public/default/my-topic")
    .SubscriptionName("my-subscription")
    .SubscriptionType(SubscriptionType.Exclusive)
    .RetryEnable(true)  // 启用重试机制
    .MaxRedeliverCount(3)  // 最大重试次数
    .RedeliveryDelay(TimeSpan.FromSeconds(10))  // 重试延迟
    .SubscribeAsync();

while (true)
{
    var msg = await consumer.ReceiveAsync();
    Console.WriteLine($"Received message: {Encoding.UTF8.GetString(msg.Data)}");
    await consumer.AcknowledgeAsync(msg);
}

6. 连接池管理

DotPulsar 支持连接池功能，允许在多个消费者和生产者之间共享 Pulsar 客户端连接，减少连接的开销。

using DotPulsar;
using System;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .ConnectionPoolSize(10)  // 设置连接池大小
    .BuildAsync();

// 使用连接池创建多个生产者/消费者
var producer = await client.NewProducer()
    .Topic("persistent://public/default/my-topic")
    .CreateAsync();

// 可以根据需要在多个地方重用该生产者/消费者
await producer.SendAsync(new byte[] { 1, 2, 3, 4 });

7. 事务支持

DotPulsar 支持事务模式，允许确保消息的发送或消费操作在事务中执行，保证消息的精确一次语义。

using DotPulsar;
using System;

var client = await PulsarClient.Builder()
    .ServiceUrl("pulsar://localhost:6650")
    .TransactionTimeout(TimeSpan.FromSeconds(60))  // 设置事务超时
    .BuildAsync();

var producer = await client.NewProducer()
    .Topic("persistent://public/default/my-topic")
    .CreateAsync();

var transaction = await client.NewTransactionAsync();

try
{
    // 在事务中发送消息
    await producer.SendAsync(new byte[] { 1, 2, 3, 4 }, transaction);
    await transaction.CommitAsync();
    Console.WriteLine("Transaction committed successfully.");
}
catch (Exception)
{
    await transaction.AbortAsync();
    Console.WriteLine("Transaction failed and aborted.");
}

总结

DotPulsar 提供了许多高级功能，可以帮助开发者在高并发、低延迟、高吞吐量的环境中灵活地处理消息流。通过批量处理、消息压缩、分区主题、消费者负载均衡、事务支持等高级特性，开发者能够在生产者和消费者之间实现更高效的消息传递和处理。