2020年07月_b_just

转载 Insert into select语句问题

前言Insert into select请慎用。这天xxx接到一个需求，需要将表A的数据迁移到表B中去做一个备份。本想通过程序先查询查出来然后批量插入。但xxx觉得这样有点慢，需要耗费大量的网络I/O，决定采取别的方法进行实现。通过在Baidu的海洋里遨游，她发现了可以使用insert into select实现，这样就可以避免使用网络I/O，直接使用SQL依靠数据库I/O完成，这样简直不要太棒了。然后她就被开除了。事故发生的经过。由于数据数据库中order_today数据量过大，当时好像有

2020-07-31 10:12:26 435

转载 rocketmq的重试队列和死信队列

消费端，一直不回传消费的结果。rocketmq认为消息没收到，consumer下一次拉取，broker依然会发送该消息。所以，任何异常都要捕获返回ConsumeConcurrentlyStatus.RECONSUME_LATERrocketmq会放到重试队列。这个重试TOPIC的名字是%RETRY%+consumergroup的名字在控制台上过一会就可以查到。重试的消息在延迟的某个时间点（默认是10秒，业务可设置）后，再次投递到这个ConsumerGroup。而如果一直这样重复消费

2020-07-14 17:47:48 3841 2

转载 SpringBoot整合RocketMQ

SpringBoot整合rocketMQRocketMQRocketmq阿里巴巴开源的一款非常优秀的MQ中间件，现在已经捐赠给Apache成为顶级项目，并且已经成功孵化，而且它是为数不多的支持分布事务消息的中间件。中文文档GitHub45apache/rocketmq45Mirror of Apache RocketMQ. Contribute to apache/rocketmq development by creating an account on GitHub....

2020-07-14 10:08:32 2229

转载双 key 来解决缓存并发问题

我们在使用缓存的时候，不管Redis或者是Memcached，基本上都会遇到以下3个问题：缓存穿透、缓存并发、缓存集中失效。这篇文章主要针对【缓存并发】问题展开讨论，并给出具体的解决方案。1.什么是缓存并发？在高并发的访问下，当某个缓存处于过期失效的时间点时，极有可能出现多个进程同时查询该缓存（该缓存是业务场景中非常 "热点" 的数据，比如首页的缓存数据）。因为查询DB并重新缓存需要一定的时间，而瞬时并发非常高，如果此时缓存失效了，这些并发请求都会直接访问DB，从而导致DB服务器的CPU或者内存负载

2020-07-10 16:33:53 872

转载 RocketMQ问答

文章目录一、为什么要使用MQ？我们系统中如何使用MQ的？为什么用他？介绍一下RocketMQ。二、RocketMQ的架构是怎么样的？引申1：RocketMQ如何做到高可用？引申2：RocketMQ如何保证消息不被重复消费？引申3：如何保证消息的可靠传输？引申4：为什么是NameServer而不是zookeeper？引申5：RocketMQ的消息消费模式和消息传输模式。三、RocketMQ工作的流程是怎么样的？引申1：RocketMQ如何实

2020-07-10 15:15:29 319

转载 RocketMQ 执行流程

RocketMQ 执行流程1、启动 Namesrv，Namesrv 起来后监听端口，等待 Broker、Producer、Consumer 连上来，相当于一个路由控制中心。2、Broker 启动，跟所有的 Namesrv 保持长连接，定时发送心跳包。3、收发消息前，先创建 Topic 。创建 Topic 时，需要指定该 Topic 要存储在哪些 Broker 上。也可以在发送消息时自动创建 Topic。4、Producer 发送消息。5、Consumer 消费消息...

2020-07-09 10:50:24 838

转载 RabbitMQ、Kafka、RocketMQ正确选型姿势【消息中间件篇】

大家想一想在你们平时开发的系统里面有没有这种情况，就是你们系统会调用到第三方接口服务，而且这个接口服务是在你流程里面进行同步调用的，这个时候你们的系统性能是直接和第三方接口服务挂钩的，也就是第三方接口服务性能的好坏直接影响到你自己的系统。我想大部分人都遇到过这样的系统调用吧，我们公司也经常遇到，合作商给的接口，就直接同步调用了，上个月我们有一个第三方接，开始组员调研时没太仔细，以为对于我们业务影响不是太大，就采用了直接同步调用，以至于线上运行两周后内存增长迅速，性能吞吐量逐渐下降，后来发现是因为三方接口

2020-07-06 17:15:30 871

转载 MySQL InnoDB数据表缺少主键会怎样

问题MySQL数据表使用InnoDB作为存储引擎的时候，数据结构就是使用B+树，而数据本身存储在主键索引上，也就是通常所说的聚簇索引，也就是每个表都需要有个聚簇索引树，但是，在建表的时候却发现可以不用指定主键，那么MySQL对于没有指定主键的表示如何处理的呢？InnoDB索引对于InnoDB，可以简单地把所有数据视为索引，每一个索引都对应一个B+数，而主键对应的索引就是聚簇索引，表的所有数据都存储在聚簇索引上，而除了聚簇索引的普通索引存储的只是主键的引用，所以，查询的时候对于普通索引需要进行回表

2020-07-03 17:46:05 2653

原创 Flume source 支持的type类型

Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。agent包含source，channel，sink三个组件。今天我们学习下source的type。1.spooldir＃描述/配置Sourcea1.sources.r1.type = spooldira1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata　　向指定目录中传输文件，发现flum..

2020-07-02 17:49:46 1146

b_just的博客