冗余双写方案下数据一致性问题解决及延申问题处理方案，2024年最新大数据开发高级面试视频

最新推荐文章于 2024-05-15 15:11:51 发布

2401_84170244

最新推荐文章于 2024-05-15 15:11:51 发布

阅读量239

点赞数 3

分类专栏：程序员文章标签：大数据面试 linq

本文链接：https://blog.csdn.net/2401_84170244/article/details/137725595

版权

程序员专栏收录该内容

29 篇文章 0 订阅

订阅专栏

Kafka采用发布/订阅模式，消息被分区并分发给订阅者，每个消费者可以独立地消费特定分区的消息。通过消费者组使得消息能够分组消费，一个topic可以有多个partition，一个partition leader可以由一个消费者组中的一个消费者进行消费。

缺点：Kafka的消息存储是基于日志的，主要用于实时数据处理场景，如日志收集、事件流处理、指标监控等。对于消息传递的可靠性和灵活性，如延迟消费能则缺乏对应支撑，需要业务处理。

方案二：

RabbitMq则是将消息投递到交换机，通过匹配规则投递消息到队列，再由队列对应的消费者进行消费，它更强调消息传递的可靠性，更符合业务场景的功能开发，自带了延迟队列和异常消息处理。其次在rabbitmq的社区更加活跃，配套文档和案例十分完善，降低了使用者的学习成本，并在团队中较多人会使用。

1）Rabbitmq可配置异常超时配置，当队列消费异常时且超出重试次数时，自动将消息投递到异常交换机中，由匹配机制传递到队列，最后再交由异常消费者订阅，短信还是邮件通知告警也是在此处解决。RepublishMessageRecoverer。

#消息确认方式，manual(手动ack) 和auto(自动ack)；消息消费重试到达指定次数进到异常交换机和异常队列，需要改为自动ack确认消息
spring.rabbitmq.listener.simple.acknowledge-mode=auto
#开启重试，消费者代码不能添加try catch捕获不往外抛异常
spring.rabbitmq.listener.simple.retry.enabled=true
#最大重试次数
spring.rabbitmq.listener.simple.retry.max-attempts=4
# 重试消息的时间间隔，5秒
spring.rabbitmq.listener.simple.retry.initial-interval=5000


import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.Queue;
import org.springframework.amqp.core.TopicExchange;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.amqp.rabbit.retry.MessageRecoverer;
import org.springframework.amqp.rabbit.retry.RepublishMessageRecoverer;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@Slf4j
public class RabbitMQErrorConfig {
    /**
     * 异常交换机
     */
    private String shortLinkErrorExchange = "short_link.error.exchange";
    /**
     * 异常队列
     */
    private String shortLinkErrorQueue = "short_link.error.queue";
    /**
     * 异常routing key
     */
    private String shortLinkErrorRoutingKey = "short_link.error.routing.key";

    @Autowired
    private RabbitTemplate rabbitTemplate;

    /**
     * 建立异常交换机
     *
     * @return
     */
    @Bean
    public TopicExchange errorTopicExchange() {
        return new TopicExchange(shortLinkErrorExchange, true, false);
    }

    /**
     * 建立队列
     *
     * @return
     */
    @Bean
    public Queue errorQueue() {
        return new Queue(shortLinkErrorQueue, true);
    }

    /**
     * 建立绑定关系
     *
     * @return
     */
    @Bean
    public Binding bingdingErrorQueueAndExchange() {
        return BindingBuilder.bind(errorQueue()).to(errorTopicExchange()).with(shortLinkErrorRoutingKey);
    }

    /**
     * 配置RepublishMessageRecoverer
     * 消息重试一定次数后，用特定的routingKey转发到指定的交换机中，方便后续排查和告警
     */
    @Bean
    public MessageRecoverer messageRecoverer() {
        return new RepublishMessageRecoverer(rabbitTemplate, shortLinkErrorExchange, shortLinkErrorRoutingKey);
    }   
}

注意：消息消费确认使用自动确认方式（acknowledge-mode=auto）

2）Rabbitmq的延迟队列采用死信队列方式解决，即被投递的队列无消费者订阅，所进入该队列的消息超时未消费时，会重新投递到另外的队列，超时时间则就是延迟时间。

@Configuration
@Data
public class RabbitMQConfig {


    /**
     * 交换机
     */
    private String orderEventExchange="order.event.exchange";


    /**
     * 延迟队列, 不能被监听消费
     */
    private String orderCloseDelayQueue="order.close.delay.queue";

    /**
     * 关单队列, 延迟队列的消息过期后转发的队列,被消费者监听
     */
    private String orderCloseQueue="order.close.queue";


    /**
     * 进入延迟队列的路由key
     */
    private String orderCloseDelayRoutingKey="order.close.delay.routing.key";


    /**
     * 进入死信队列的路由key，消息过期进入死信队列的key
     */
    private String orderCloseRoutingKey="order.close.routing.key";

    /**
     * 过期时间 毫秒，临时改为1分钟定时关单
     */
    private Integer ttl=1000*60;

    /**
     * 消息转换器
     * @return
     */
    @Bean
    public MessageConverter messageConverter(){
        return new Jackson2JsonMessageConverter();
    }


    /**
     * 创建交换机 Topic类型，也可以用dirct路由
     * 一般一个微服务一个交换机
     * @return
     */
    @Bean
    public Exchange orderEventExchange(){
        return new TopicExchange(orderEventExchange,true,false);
    }


    /**
     * 延迟队列
     */
    @Bean
    public Queue orderCloseDelayQueue(){

        Map<String,Object> args = new HashMap<>(3);
        args.put("x-dead-letter-exchange",orderEventExchange);
        args.put("x-dead-letter-routing-key",orderCloseRoutingKey);
        args.put("x-message-ttl",ttl);

        return new Queue(orderCloseDelayQueue,true,false,false,args);
    }


    /**
     * 死信队列，普通队列，用于被监听
     */
    @Bean
    public Queue orderCloseQueue(){

        return new Queue(orderCloseQueue,true,false,false);

    }

    /**
     * 第一个队列，即延迟队列的绑定关系建立
     * @return
     */
    @Bean
    public Binding orderCloseDelayBinding(){

        return new Binding(orderCloseDelayQueue,Binding.DestinationType.QUEUE,orderEventExchange,orderCloseDelayRoutingKey,null);
    }

    /**
     * 死信队列绑定关系建立
     * @return
     */
    @Bean
    public Binding orderCloseBinding(){

        return new Binding(orderCloseQueue,Binding.DestinationType.QUEUE,orderEventExchange,orderCloseRoutingKey,null);
    }



}

@Component
@Slf4j
@RabbitListener(queuesToDeclare = {@Queue("order.close.queue"),@Queue("order.update.queue")})
public class ProductOrderMQListener {


    @Autowired
    private ProductOrderService productOrderService;

    @RabbitHandler
    public void productOrderHandler(EventMessage eventMessage, Message message, Channel channel){
        log.info("监听到消息ProductrOrderMQListener message:{}", eventMessage);

        try {
            productOrderService.handleProductOrderMessage(eventMessage);
        } catch (Exception e) {
            log.error("消费失败：{}", eventMessage);
            throw new BizException(BizCodeEnum.MQ_CONSUME_EXCEPTION);
        }
        log.info("消费成功");
    }

}

3、问题：海量数据场景下冗余双写唯一码生成方式探讨，以短链码（订单号）讲解。

方案1：

生产者端生成短链码。先在数据库查询短链码是否存在，不存在的话通过redis设计一个分布式锁key=code并配置过期时间（加锁失败则重新生成），存在则重新生成，重复以上操作。随后再C端消费者和B端消费者均写入成功后再进行解锁。

缺点：性能比较低，用户需要等待所生成的短链上锁，最终入库解锁才能返回给用户，等待时间较长。

方案2：

消费者（C端/B端）生成短链码。用户请求后立即返回消息给客户，随后消费者（C端/B端）各自进行加锁写入数据库，确保两者冲突时能遵照统一ver版本自增机制，重新生成短链码。

 /**
     * 如果短链码重复，则调用这个方法
     * url前缀的编号递增1
     * 如果还是用雪花算法，则容易C端和B端不一致，所以才用编号递增+1的方式
     * 123456789&http://baidu.com/download.html
     *
     * @param url
     * @return
     */
    public static String addUrlPrefixVersion(String url) {
        String urlPrefix = url.substring(0, url.indexOf("&"));
        String originalUrl = url.substring(url.indexOf("&") + 1);
        Long newUrlPrefix = Long.parseLong(urlPrefix) + 1;
        String newUrl = newUrlPrefix + "&" + originalUrl;
        return newUrl;
    }

/**
     * 判断短链域名是否合法
     * 判断组名是否合法
     * 生成长链摘要
     * 生成短链码
     * 加锁
     * 查询短链码是否存在
     * 构建短链对象
     * 保存数据库
     *
     * @param eventMessage
     * @return
     */
    @Override
    public boolean handlerAddShortLink(EventMessage eventMessage) {
        Long accountNo = eventMessage.getAccountNo();
        String messageType = eventMessage.getEventMessageType();
        String content = eventMessage.getContent();
        ShortLinkAddRequest addRequest = JsonUtil.json2Obj(content, ShortLinkAddRequest.class);
        //短链域名校验
        DomainDO domainDO = checkDomain(addRequest.getDomainType(), addRequest.getDomainId(), accountNo);
        LinkGroupDO linkGroupDO = checkLinkGroup(addRequest.getGroupId(), accountNo);
        //长链摘要生成
        String originalUrlDigest = CommonUtil.MD5(addRequest.getOriginalUrl());
        //短链码重复标记
        boolean duplicateCodeFlag = false;


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/eb1a0da6cf54faa748acd2f8e5120aa5.png)
![img](https://img-blog.csdnimg.cn/img_convert/db229f8aade957a27d70360576976e98.png)
![img](https://img-blog.csdnimg.cn/img_convert/7202345cd2bbf29f90e4367357c5f58d.png)
![img](https://img-blog.csdnimg.cn/img_convert/268077dd98b67381d2ea46309f35fadb.png)
![img](https://img-blog.csdnimg.cn/img_convert/19ed711824c41401cb4484945fdf5c0c.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/0f5a500d9e794486ae6876cb48722828.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

263805)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-DN1cpaYR-1713014263806)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84170244

关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
冗余双写方案下数据一致性问题解决及延申问题处理方案，2024年最新大数据开发高级面试视频

RabbitMq则是将消息投递到交换机，通过匹配规则投递消息到队列，再由队列对应的消费者进行消费，它更强调消息传递的可靠性，更符合业务场景的功能开发，自带了延迟队列和异常消息处理。2）Rabbitmq的延迟队列采用死信队列方式解决，即被投递的队列无消费者订阅，所进入该队列的消息超时未消费时，会重新投递到另外的队列，超时时间则就是延迟时间。用户请求后立即返回消息给客户，随后消费者（C端/B端）各自进行加锁写入数据库，确保两者冲突时能遵照统一ver版本自增机制，重新生成短链码。
复制链接

扫一扫