红豆和绿豆的博客_CSDN博客-java,Spring,hadoop领域博主

原创 mybatis批量查询1w数据需要10s

（1）mybatis批量插入的写法<insert id="insertAccountabilityUsers" parameterType="AccountabilityUsersModel" useGeneratedKeys="false"> INSERT INTO accountability_users ( accountability_user_id, accountability_id, to_username,

2021-11-06 13:07:18 322

原创 ThreadPoolExecutor如果用做局部变量会有问题吗

（1）如果创建一个ThreadPoolExecutor的局部变量创建几个核心线程数，如果不使用shutdown，那么线程池是不会被gc进行回收的（2）如果想要gc回收线程池，以及对应的线程，那么需要使用shutdown还是建议使用成员变量线程池，不同的业务共享线程...

2021-10-30 13:22:55 22

原创 datax3数据同步

（1）地址：GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。(2)介绍的文章就比较多了，在这里想分析一下具体是如何设计的以及使用到哪些巧妙的设计1、自定义json的结构，然后映射到Configuration中，通过Configuration中的方法可以方便的获取对应JOB的配置参数，插件的自定义参数，任务的配置参数，2、插件+框架的组合实现基本的扩展，为了防止不同组件之间类的隔离，使用自定义类加载器，在jobContainer启动的..

2021-10-16 15:57:07 43

原创 mysql报错wait_time问题

springboot 连接池wait_timeout超时设置，使用springboot 线程池连接MySQL时，mysql数据库wait_timeout 为8个小时，所以程序第二天发现报错，在url配置了 autoReconnect=true 也不行，查询配置以下#验证连接的有效性spring.datasource.test-while-idle=true#获取连接时候验证，会影响性能spring.datasource.test-on-borrow=truespring.datasour

2021-10-16 14:54:12 32

原创 repo来管理多git仓库

（1）背景：为什么要使用repo这个工具来管理比如想基于android的源码进行内核的定制以及应用程序的开发，一个android程序需要所有的文件夹打包在一起形成一个系统，因此每个文件夹使用一个git仓库进行管理（2）如何使用repo参考已有的博客搭建repo服务器管理多个git工程_songze_lee-CSDN博客_repo管理多个gitGradle Repo：一个能管理多个Git仓库，又能快速切换分支的Gradle插件 - 简书repo sync同步下来之后，git branch

2021-10-13 07:50:13 20

原创 spring的RedisTemplate连接redis

（1）maven的版本 <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> <version>2.3.0.RELEASE</version>（2）配置类@EnableCaching@Configurationpublic class RedisConfig ext

2021-10-12 21:23:18 12

原创 Spring如何接入多数据源进行配置

@Configuration@MapperScan(basePackage={},sqlSessionFactoryRef="asqlSessionFactory"sqlSessionTemplateRef="aSqlSessionTemplate")public　class　ADataSourceConfiguration(){@Bean(name="aDataSource")@ConfigurationProperties(prefix="spring.datas...

2021-10-10 14:42:36 24

原创 CompletableFuture踩坑

简单记录一个基本的问题private List<String> fetchResult(List<String> request){...........}List<String> ids=new ArrayList<String>();//假设有10w个List<List<String>> patitionList=Lists.partition(ids,100);List<String> resu

2021-10-10 14:31:19 51

原创开源文档开放商城分布式与单机

DocumentDescriptionhttp://www.macrozheng.com/#/READMEGitHub - macrozheng/mall-swarm: mall-swarm是一套微服务商城系统，采用了 Spring Cloud Hoxton & Alibaba、Spring Boot 2.3、Oauth2、MyBatis、Docker、Elasticsearch、Kubernetes等核心技术，同时提供了基于Vue的管理后台方便快速搭建系统。mall-swarm在电商业务的基础集成

2021-09-29 07:20:15 13

原创 spring整合RabbitMQ

（1）maven配置<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId></dependency><dependency> <groupId

2021-09-28 11:24:26 13

原创 spring整合定时任务

package com.macro.mall.tiny.config;import org.springframework.context.annotation.Configuration;import org.springframework.scheduling.annotation.EnableScheduling;/** * 定时任务配置 * Created by macro on 2019/4/8. */@Configuration@EnableSchedulingpubli.

2021-09-28 10:59:54 14

原创 springSecurity和JWT做登录校验

（1）maven<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-security</artifactId></dependency><dependency&g

2021-09-27 20:43:02 35

原创 spring读入配置信息

（1）配置文件application.ymlsecure: ignored: urls: #安全路径白名单 - /swagger-ui.html - /swagger-resources/** - /swagger/** - /**/v2/api-docs - /**/*.js - /**/*.css - /**/*.png - /**/*.ico - /webjars/spring

2021-09-27 19:44:42 16

原创 spring自带RestTemplate发起http请求

package com.macro.mall.demo.controller;import com.macro.mall.common.api.CommonResult;import com.macro.mall.model.PmsBrand;import io.swagger.annotations.Api;import io.swagger.annotations.ApiOperation;import org.springframework.beans.factory.annotatio.

2021-09-27 11:57:59 32

原创 mybatis和pagehelper分页查询

（一）maven<pagehelper-starter.version>1.3.0</pagehelper-starter.version><pagehelper.version>5.2.0</pagehelper.version><dependency> <groupId>com.github.pagehelper</groupId>

2021-09-27 11:35:30 13

原创 javax 自定义注解校验或者与hibernate联合使用

（1）javax自定义注解使用自定义一个注解package com.macro.mall.demo.validator;import javax.validation.Constraint;import javax.validation.Payload;import java.lang.annotation.*;/** * 用户验证状态是否在指定范围内的注解 */@Documented@Retention(RetentionPolicy.RUNTIME)@Target({El

2021-09-27 11:09:20 11

原创 spring与swagger2进行融合生成在线文档与自测

开源代码中学习到的东西（1）Maven<swagger2.version>2.9.2</swagger2.version><swagger-models.version>1.6.0</swagger-models.version><swagger-annotations.version>1.6.0</swagger-annotations.version><!--Swagger-UI API文档生产工具--&g

2021-09-27 10:04:47 16

原创编程学习从开源开始

（1）mall-swarm是一套微服务商城系统，采用了 Spring Cloud Hoxton & Alibaba、Spring Boot 2.3、Oauth2、MyBatis、Docker、Elasticsearch、Kubernetes等核心技术，同时提供了基于Vue的管理后台方便快速搭建系统。mall-swarm在电商业务的基础集成了注册中心、配置中心、监控中心、网关等系统功能GitHub - macrozheng/mall-swarm: mall-swarm是一套微服务商城系统，采用了

2021-09-26 16:46:20 14

原创地图AOI的基本介绍

（一）地图AOI的基本信息地图AOI数据那些事（一）AOI概念系统性介绍 - 知乎（二）postgreSQL中的地理坐标基础框架与利用postgreSQL的地图全...https://v.youku.com/v_show/id_XMzEzNjExNzU0MA==.html（二）多边形开源jar包java 使用jts-jar计算任意多边形的内点、质点（不是中心也不是重心，内点经测试都在图形内部）_可爱猪猪-CSDN博客<!-- https://mvnrepository.co

2021-09-25 20:12:13 69

转载多边形中心坐标的计算

import java.util.ArrayList;import java.util.List;/*** 坐标以及电子围栏相关的工具类**/public class PointUtil { public static void main(String[] args) { String str="114.316587,30.671626#114.325921,30.683437#114.342122,30.689342#114.359009,30.69...

2021-09-21 14:39:45 72

原创权限系统的理解

随着做B端系统的，对权限系统的使用越来越多，也觉得这个系统功能很是强大如果要是我怎么设计这个权限系统呢权限可以分为，功能权限，数据权限功能权限就是访问某个接口。数据权限，操作模型，数据权限模型，属性一个数据权限对应多个操作模型，一个数据权限模型，一个数据权限模型对应一个或者多个属性模型。属性模型是数据的根本来源，可以支持静态配置的string，也可以支持外部调用的http的外部接口，rpc的接口。统一定义接口，实现spi回调业务方，从而实现数据权限的扩展用于可以有多个功能权限和数据权

2021-09-09 21:57:26 31

原创如何做一个搭建系统

（1）什么场景适合用搭建？大促的会场，频道，店铺，商品详情，订单详情，动态表单（2）如何设计一个通用的搭建服务端其实主要是表结构的设计：（1）组件模版，一个组件模型对应一个前端的git流，比如可以设定是小程序，h5，native这个git流就是前端写代码，根据服务端返回的模型进行模块的组装（2）站点，页面，组件，数据源，规则一个站点可以有多个页面，页面有多个规则以及组件模版，一个组件模版还有多个数据源，一个数据源有多个规则。其实组件模版对应数据源的配置，可以是一个json的表

2021-09-09 21:31:25 44

原创 springboot自动装配原理

这个是spring的ioc容器启动类spring中一个类可以加载到spring容器中的几种方法@SpringBootConfiguration＝＝Configuration 表示被Bean 修饰的类可以被加载到spring 的容器中@EnableAutoConfiguration ＝这个注解是关键@Import({Registrar.class})@Import({EnableAutoConfigurationImportSelector.class})重点的一个...

2021-08-11 22:25:01 34

原创动态规划原理

0-1背包的公式，以及几种优化的算法：滚动数组，单个数组优化，物品要么选择要么不选择倒序遍历－－－－完全背包：物品的个数可以取多个正序遍历将完全背包转换为0-1背包多重背包－－...

2021-08-10 14:40:10 13

原创如何扛住大流量内容的读取

（1）近端包编写本地缓存，热点数据本地缓存存储（2）本地缓存没有命中则走redis镜像缓存（3）redis镜像缓存没有，则走远端redis缓存（4）redis缓存没有，则走远程服务端缓存（5）远端服务端：判断当前商品id是否是热点数据（可以判断同一时间是否有多个线程访问，如果有则认为热点数据，防止大量请求同时打穿到DB，使用guava的方式进行缓存，一个线程执行，其它的线程进行阻塞），如果是热点数据可以进行服务端本地缓存。普通数据查询redis，如果redis，没有则查询DB，放入到red

2021-08-07 23:09:35 35

原创比较不错博客

https://www.beikejiedeliulangmao.top/?spm=ata.21736010.0.0.6a0c4f43x6HzVd

2021-08-07 10:21:19 9

原创 spring基本原理讲解

（一）spring的ioc的原理（1）首先收集一些bean componentScan（2）从收集的这边bean中抽象出BeanDefinnation 也就创建对象实例的元数据（3）基于BeanDefinnation创建对象可以使用反射，cglib等字节码技术进行创建spring基于这三个步骤，进行容器的初始化以及对象的实例化，同时进行大量的扩展（二）怎么才能扩展呢，那么就必须了解spring 的生命周期的方法针对spring容器，针对bean的生命周期扩展方法BeanF.

2021-08-07 10:19:54 20

原创 zookeeper学习

下载安装单机zookeeper的serverzookeeper的操作zookeeper的数据结构服务端常用命令客户端常用命令临时节点，客户端关闭，服务端创建的节点则会删除不能重复创建节点不能删除带子节点的ZNodejavaAPI操作Zookeeper的节点操作curator的增删改查连接基本操作package curator;import org.apache.curator....

2021-08-03 21:14:58 313 1

原创算法可视化工具

https://www.cs.usfca.edu/~galles/visualization/Algorithms.html

2021-08-01 09:43:58 43

原创 java网络编程netty实现rpc

常见的rpc框架流程基本rpc实现流程基于Spring版本https://my.oschina.net/huangyong/blog/361751https://www.cnblogs.com/luxiaoxun/p/5272384.html?spm=ata.13261165.0.0.190a1c7bi0WmY0具体的代码就不贴了具体涉及到：netty的rpc，注册中心，编码和解码，动态代理，协议定义...

2021-07-31 19:29:51 47

原创 java网络编程netty的tcp粘包和拆包

tcp出现粘包和拆包的一个基本的demopackage io.netty.tcp;import io.netty.channel.ChannelInitializer;import io.netty.channel.ChannelPipeline;import io.netty.channel.socket.SocketChannel;public class MyServerInitializer extends ChannelInitializer<SocketChan...

2021-07-31 18:49:27 35

原创 java网络编程netty的编码与解码

package io.netty.inboundAndoutboundHandler;import io.netty.buffer.ByteBuf;import io.netty.channel.ChannelHandlerContext;import io.netty.handler.codec.ByteToMessageDecoder;import java.util.List;public class MyByteToLongDecoder extends ByteToMessage.

2021-07-31 12:46:07 41

原创 java网络编程NIO之protobuf

针对prototobuf的操作(1)引入protobuf的mvn配置<dependency><groupId>com.google.protobuf</groupId><artifactId>protobuf-java</artifactId><version>2.6.1</version></dependency>（2）编写＊.proto文件syntax="proto3";//

2021-07-29 17:49:27 16

原创 java网络编程NIO的websocket长链接

import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelInitializer;import io.netty.channel.ChannelPipeline;import io.netty.channel.EventLoopGroup;import io.netty.channel.nio.NioEventLoopGroup;..

2021-07-29 16:25:02 11

原创 java网络编程NIO的心跳检测

import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelInitializer;import io.netty.channel.EventLoopGroup;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.SocketCha...

2021-07-29 11:45:27 26

原创 java网络编程netty实现群聊

package io.netty.groupchat;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.*;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.SocketChannel;import io.netty.channel.socket.nio.NioServerSocketChannel;impo.

2021-07-27 09:41:36 15

原创 java网络编程netty的api

package io.netty.buf;import io.netty.buffer.ByteBuf;import io.netty.buffer.Unpooled;import io.netty.util.CharsetUtil;import java.nio.charset.Charset;public class NettyByteBufTest { public static void main(String[] args) { ...

2021-07-26 19:04:57 26

原创 java网络编程netty实现接收http请求

package io.netty.http;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.EventLoopGroup;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.nio.NioServerSocketChannel;pu.

2021-07-26 18:25:29 58

原创 java网络编程netty的Future_listener机制

package io.netty;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.*;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.SocketChannel;import io.netty.channel.socket.nio.NioServerSocketChannel;public clas...

2021-07-26 17:31:41 23

原创 java网络编程netty进阶

（1）netty是一主多从多线程模型（2）netty一个基本的demopackage io.netty;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.*;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.SocketChannel;import io.netty.channel.sock.

2021-07-26 15:59:15 27