Kafka中基于byte[]的murmur2 哈希算法实现

        无需赘言,直接上代码:

    /**
     * Generates 32 bit murmur2 hash from byte array
     * 根据一个byte数组产生一个32位的murmur2 hash值
     * 
     * @param data byte array to hash
     * @return 32 bit hash of the given array
     */
    public static int murmur2(final byte[] data) {
        int length = data.length;
        int seed = 0x9747b28c;
        // 'm' and 'r' are mixing constants generated offline.
        // They're not really 'magic', they just happen to work well.
        final int m = 0x5bd1e995;
        final int r = 24;

        // Initialize the hash to a random value
        int h = seed ^ length;
        int length4 = length / 4;

        for (int i = 0; i < length4; i++) {
            final int i4 = i * 4;
            int k = (data[i4 + 0] & 0xff) + ((data[i4 + 1] & 0xff) << 8) + ((data[i4 + 2] & 0xff) << 16) + ((data[i4 + 3] & 0xff) << 24);
            k *= m;
            k ^= k >>> r;
            k *= m;
            h *= m;
            h ^= k;
        }

        // Handle the last few bytes of the input array
        switch (length % 4) {
            case 3:
                h ^= (data[(length & ~3) + 2] & 0xff) << 16;
            case 2:
                h ^= (data[(length & ~3) + 1] & 0xff) << 8;
            case 1:
                h ^= data[length & ~3] & 0xff;
                h *= m;
        }

        h ^= h >>> 13;
        h *= m;
        h ^= h >>> 15;

        return h;
    }


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka的事务是通过Transactional Producer和Transactional Consumer来实现的。 1. Transactional Producer Transactional Producer是Kafka Producer的一个扩展,在Kafka 0.11版本引入。它允许将多个消息作为一个原子事务发送到Kafka集群。当Producer开始一个事务后,它会获得一个独占的Producer ID,并创建一个独占的Transaction State。在事务期间,Producer可以发送多个消息,并在最后提交或回滚整个事务。如果在事务期间发生故障,Producer可以通过回滚事务来保证消息的一致性。 2. Transactional Consumer Transactional Consumer是Kafka Consumer的一个扩展,在Kafka 0.11版本引入。它允许将多个消息作为一个原子事务消费。当Consumer开始一个事务后,它会获得一个独占的Consumer ID,并创建一个独占的Transaction State。在事务期间,Consumer可以消费多个消息,并在最后提交或回滚整个事务。如果在事务期间发生故障,Consumer可以通过回滚事务来保证消息的一致性。 3. 实现原理 在Kafka,事务的实现依赖于两个协调器:Transaction Coordinator和Group Coordinator。Transaction Coordinator负责处理Transactional Producer的事务请求,Group Coordinator负责处理Transactional Consumer的事务请求。 在事务期间,Transactional Producer和Transactional Consumer都会将事务状态写入一个专门的Topic,这个Topic称为Transaction Log。Transaction Log记录了每个事务的状态信息,包括事务ID、状态、参与者等信息。当事务提交或回滚时,它们会向Transaction Coordinator发送请求,Transaction Coordinator会在Transaction Log更新事务状态,以确保事务的原子性和一致性。 总之,Kafka的事务是通过Transactional Producer和Transactional Consumer以及Transaction Coordinator和Group Coordinator的协作实现的,它可以保证消息的原子性和一致性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值