小肥羊的博客

项目中有个需求是获取excel中的成员信息，需要剔除重复身份证号以及返回重复身份证号给前端~~//判断excel导入的成员信息身份证号是否重复 //得到excel表所有成员信息list List<Map<String,Object>> list = ExcelUtils.parseExcelToObject(sheetTable,strArr); //得到所有身份证号集合 List<String> stringList = list.st

拉取最新版本的redisdocker pull redis:latest运行容器docker run -p 6379:6379 --restart always --privileged=true --name redis -v /root/redis/conf/redis.conf:/etc/redis/redis.conf -v /root/redis/conf/data:/data -d redis:latest redis-server /etc/redis/redis.conf --ap

fanout 扇形 也称为广播在广播模式下，消息发送流程是这样的：可以有多个消费者每个消费者有自己的queue（队列）每个队列都要绑定到Exchange（交换机）生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定。交换机把消息发送给绑定过的所有队列队列的消费者都能拿到消息。实现一条消息被多个消费者消费<dependency> <groupId>org.springframework.boot</groupId>

在使用RabbitMQ的时候，我们可以通过消息持久化操作来解决因为服务器的异常奔溃导致的消息丢失，除此之外我们还会遇到一个问题，当消息的发布者在将消息发送出去之后，消息到底有没有正确到达broker代理服务器呢？如果不进行特殊配置的话，默认情况下发布操作是不会返回任何信息给生产者的，也就是默认情况下我们的生产者是不知道消息有没有正确到达broker的，如果在消息到达broker之前已经丢失的话，持久化操作也解决不了这个问题，因为消息根本就没到达代理服务器，你怎么进行持久化，那么这个问题该怎么解决呢？Rab

Work queues，也被称为（Task queues），任务模型。当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。此时就可以使用work 模型：让多个消费者绑定到一个队列，共同消费队列中的消息。队列中的消息一旦消费，就会消失，因此任务是不会被重复执行的。（缺点：消费消息是一种轮循，也可以说是一种平均分配消息，做不到能者多劳，也就是已消费完的帮助未消费完的）<dependency> <groupId>

直连模型（不经过交换机，消息直接进入通道）P：生产者，也就是要发送消息的程序C：消费者：消息的接受者，会一直等待消息到来。queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息。maven依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-a

安装命令：management（包含管理页面）docker pull rabbitmq:management运行镜像：docker run -d --hostname my-rabbit --name rabbit -e RABBITMQ_DEFAULT_USER=admin-e RABBITMQ_DEFAULT_PASS=123456 -p 15673:15672 -p 5673:5672 rabbitmq:management管理页面端口号 15672 映射为 15673应用端口号 56

在编写一个工具类的时候，需要用到静态对象service,按照平常一样，使用@Autowired注入，调用方法，却发现控制台报了空指针异常。public class SftpUtil { @Autowired private static ExternalService externalService;报错的原因，与使用静态变量经常出错的原因一样，类加载静态变量，@Autowired注入的service还没加载。解决方法：1、@Autowired注解setter方法public

在springboot使用websocket过程中，需要使用到@Autowired注入service按照平时的方法注入：@ServerEndpoint(value = "/websocket/{name}")@Componentpublic class WebSocketService { @Autowired ChatRecodeService chatRecodeService控制台报了空指针的异常后来想了一下，会不会跟**@Autowired注解静态对象**实现的方法一样，尝

Swagger简介：Swagger 是一个规范且完整的框架，用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。Swagger 的目标是对 REST API 定义一个标准且和语言无关的接口，可以让人和计算机拥有无须访问源码、文档或网络流量监测就可以发现和理解服务的能力。当通过 Swagger 进行正确定义，用户可以理解远程服务并使用最少实现逻辑与远程服务进行交互。与为底层编程所实现的接口类似，Swagger 消除了调用服务时可能会有的猜测。Swagger 的优势：支持 API 自动生

方法 1：（本人一般使用）命令行方式跳过测试在springboot 命令行输入一下命令mvn clean install -Dmaven.test.skip=true或者mvn clean install -DskipTests出现BUILD SECCESS表示打包成功，第一张图表示的是生成jar包的地址。方法 2：idea 使用maven插件跳过测试点击蓝色圆圈闪电图标方法 3：pom.xml中配置跳过测试springboot：<build> <

HttpClient：HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的

StringUtils.isBlank和StringUtils.isEmpty都是判断空的方法。依赖： <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.4</version> &

有时候需要进行大数据量的抽取，kettle的插入/更新组件就不适用了，这时候可以考虑根据时间戳进行增量更新。下面是根据时间戳进行增量同步的一个测试例子：环境：2个不同机器上数据库，一个源数据库数据不定时更新，一个目标数据库2分钟定时进行数据抽取。（或者一个机器上2个不同的数据库，一个进行数据更新，一个定时进行数据的抽取）源数据表和目标数据表结构一样：源数据库表：目标数据库表（从源数据库表），目标数据库表开始要有一个时间。步骤：拉取3个组件，2个表输入，一个表输出表输出

Kettle 从不同服务器中下载excel文件新建作业，拉去SFTP下载组件： 2、配置信息远程目录是下载数据的源目录通配符用于筛选需要下载的文件.*\.xls$这个通配符就是后缀名为xls的文件全部下载运行作业成功后可以在目标目录看到下载的文件。...

Kettle数据转换：excel表转成Mysql数据表选择表格有两种方式：第一种是直接选择目标excel选择需要转换的excel表格，再点击增加第二种是通过正则表达式去动态选择目标表两种方法需要注意表格类型（引擎）的选择：2007 对应的是xlsx2003 对应的是xls再选择工作表，获取Sheet，点击获取工作名称选择字段，可以直接点击获取来自头部数据的字段，也就是excel表中对应的字段创建Mysql数据表，选择目标表点击获取字段

Kettle变量分为全局变量和局部变量。Kettle主要的全局变量：可以通过转换预览点击Get Variables上面显示的就是系统自带的全局变量还有自定义的全局变量。自定义的全局变量设置：

字段值是2020-10-20 00:00:39这种格式，所以需要转换格式。select * from 表名 where Time（时间字段） BETWEEN DATE_FORMAT(NOW(),’%Y-%m-%d 00:00:00’) AND DATE_FORMAT(NOW(),’%Y-%m-%d 23:59:59’)

在不同机器，不同数据库之间抽取数据转换实现步骤：拉取表输入和表输出，两者联系起来(快捷键Shift+鼠标)表输入的是抽取数据的源表表输出的是取得数据目标表连接数据库输入完相关信息，可以点击测试数据库是否连接成功。点击获取SQL查询语句选择需要抽取的源表点击预览是执行SQL框框里面的语句,可以看到具体传输的信息由于是不同机器不同服务器之间的数据抽取，所以要配置另一个地址不同的数据库把裁剪表勾上，执行多次转换的时候，数据不会重复叠加进