- 博客(111)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Elasticsearch集群配置-节点职责划分 & Hot Warm 架构实践
本文主要讲了ES在节点部署时可以考虑的节点职责划分，如果不考虑节点部署，那么所有节点都会身兼数职（master-eligible ，data，coordinate等），这对后期的维护拓展并不利，所以本文从节点介绍出发，再到实践Hot Warm 架构，让大家有个es集群分职责部署有个直观印象。然后仍要着重强调，本文只是一个引子，只是告诉你ES有这个东西，当看完本文，以后的所有问题都应该直接去看。
2024-07-24 15:48:34
1171
1
原创 Elasticsearch搜索优化-自定义路由规划(routing)
自定义路由在用户了解查询需求和业务的基础之上，可以对查询性能进行优化，然而使用不当会导致数据不平衡，重复ID等问题。所以要充分了解其机制再去使用（这里再次推荐看下官方文档），避免反向优化。
2024-06-04 15:27:36
1180
原创 RocketMQ顺序消费
根据公司项目的一个使用场景，针对实时预警任务，会有同时消费某个设备正常或异常的事件，而这类事件具有时间维度上的先后性，需要符合先进先出（FIFO）原则进行发布和消费，而MQ消费为了吞吐量基本会使用多线程消费，RocketMQ也会分为多个消息队列，会造成消费无序的情况，这时候为了综合兼顾顺序消费+性能的考虑，可以使用分区顺序消息的策略。
2024-05-27 16:16:49
152
原创 MyBatis懒加载数据（大批量数据处理）
Cursor约定使用Iterator去懒加载数据，以时间换空间，非常适合处理通常无法容纳在内存中的数百万个项目查询。如果在 resultMap 中使用集合，则必须使用 resultMap 的 id 列对游标 SQL 查询进行排序(resultOrdered=“true”)。
2024-05-27 15:01:04
383
原创 MySQL查询计划key_len如何计算
desc 中的 key_len 表示使用的索引长度，是以字节为单位。根据这个值，就可以判断索引使用情况，特别在使用联合索引的时候，判断有多少的索引字段能被查询用到。
2022-07-15 12:45:32
497
转载 Spring主从数据库的配置和动态数据源切换原理
在大型应用程序中，配置主从数据库并使用读写分离是常见的设计模式。在Spring应用程序中，要实现读写分离，最好不要对现有代码进行改动，而是在底层透明地支持。Spring内置了一个AbstractRoutingDataSource，它可以把多个数据源配置成一个Map，然后，根据不同的key返回不同的数据源。因为AbstractRoutingDataSource也是一个DataSource接口，因此，应用程序可以先设置好key， 访问数据库的代码就可以从AbstractRoutingDataSource拿到对
2022-03-06 17:14:07
1108
原创 HTTPS 原理简要总结
HTTPS 的原理最近看了下《图解 HTTP》，对 HTTPS 怎么实现安全的原理总结了一下。HTTPS 的原理要从怎么解决安全性问题来一步步阐明，这样说起来会更清晰一点：如何解决网络传播中数据安全问题？答：运用对称加密或者非对称加密来加密数据内容。https 使用对称加密加密数据内容，不使用非对称加密是因为性能比对称加密更差。对称加密的密钥需要双方都要知道，如何保证密钥安全？答：使用非对称加密加密对称加密的密钥。客户端拥有非对称加密的公钥，对对称加密的密钥加密后，传给服务端，服务端用非
2022-02-01 20:07:50
2054
原创 Tomcat整体架构+启动流程+各种线程 随手小记
最近学了一下tomcat启动流程，顺便把里面的各种线程/优化点梳理了一下。因为tomcat架构确实繁杂，也不想大费周章一点点写了，就当给自己的笔记，也就大概自己能看懂了，啊哈哈。tomcat启动流程图自己整理了一下uml时序图。主要还是要了解tomcat整体架构，如下图，重点在于了解：connector 负责接收http请求，这时候tomcat还是一个http服务器。Engine，host，context，wrapper 则是负责servlet容器启动，启动后http请求会根据路由规则转发到指定的
2021-11-28 10:51:33
1394
原创 spring之我见 - 从 RefreshScope 理解IOC的世界不仅仅只有单例
从 getBean 讲起getBean 方法是我们的老朋友，在里面有一个细节我们可能会忽略。spring ioc 针对不同的 bean 管理模式有不同的执行策略，而我们最常见熟知的就是单例和原型，下面就是在创建bean的时候首先根据不同的管理策略执行不同的逻辑方法，而我们今天要讲的是比较少走的else逻辑部分。if (mbd.isSingleton()) { ...}else if (mbd.isPrototype()) { .....}else {
2021-09-30 18:05:06
309
原创 从方法调用看Java语言的 `静态多分派，动态单分派` 特性
方法调用方法调用对虚拟机来说并不只是执行一个方法，更重要的是确定要执行的目标方法，比如在复写的情况下，要知道该调用父类还是子类的方法。而在重载的情况下，又要在多个同名的方法中选取一个执行。当我们慢慢打开虚拟机的黑盒时，对虚拟机大致的执行逻辑也就一目了然。解析调用在class文件字节码中，因为没有分配内存，调用方法都是一个个符号引用表示依赖关系，在类加载的解析阶段，符号引用会转换为直接引用（确定内存地址），这种在 编译期间即可知，运行期间不会变 的叫做解析， 而符合这种方法有静态方法，私有方法，被f
2021-09-01 10:58:12
232
原创 G1调优实践日记--被误解的MetaspaceSize
MetaspaceMetaspace 大家应该很熟悉了，所有线程共享的一块内存区域，主要存放已被虚拟机加载的类定义，方法定义，常量等一些元数据信息，运行时常量池（Runtime Constant Pool）也是方法区的一部分，Class 文件中的常量池表（Constant Pool Table，里面各种字面量和符号引用），被类加载后就放入方法区的运行时常量池 。运行时常量池并不只有编译时才往里放东西，运行时也可以放新的常量，比如 String.intern()。有一个别名叫“非堆”。jdk1.8以后直接
2021-08-27 18:01:23
4076
原创 spring之我见 - Ribbon如何在RestTemplate起作用(SmartInitializingSingleton)
还是IOC的知识 – Ribbon是何时塞入RestTemplate中的ribbon是一个客户端侧的负载均衡器，如果你使用 restTemplates 和 eureka, ribbon会将url中的 服务名 直接转换成请求的ip, 而 restTemplates 内部有一个 interceptors list(拦截器),让 ribbon 有地方可以施展拳脚. 那么在spring启动的时候，是什么时候把 ribbon 塞进 restTemplates 的拦截器中的呢？public abstract c
2021-07-15 18:09:02
308
原创 spring之我见 - Spring AOP实现原理(下)
预备材料这一篇需要先把我本地的demo应用代码放出来。然后上篇说到, 我们已经准备好了各种食材，这一篇真正开始看看 AOP 是怎么代理某个对象的.@Aspect@Componentpublic class TestAspectJ { @Pointcut("execution(* com.example.demo.service.TestService.test())") public void testPointcut() { } @Before("testPoi
2021-06-02 18:22:31
334
1
原创 spring之我见 - Spring AOP实现原理(上)
前言以前写过一篇文章, 专门讲了spring的动态代理实现原理 从代理模式再出发！Proxy.newProxyInstance的秘密, 这一次我们探究下动态代理模式比较重量级的应用 – Spring AOP 的源码实现. 本文重在讲主流程, 为了让流程更清楚, 本篇会补上很多Spring IOC 的知识.spring-boot-starter-aop 的启用 - ConfigurationClassPostProcessorConfigurationClassPostProcessor的由来都知道要
2021-05-19 14:49:49
354
1
原创 一窥TransmittableThreadLocal
ThreadLocal在我们平时的开发中很常见，拥有线程级别的变量共享，但是现在的项目都是跨线程的调用，如果主线程创建了另一个线程（父子线程），另一个线程还能拿到主线程的数据吗？这时候ThreadLocal就力不从心了，还好jdk提供了InheritableThreadLocal类，我们稍微讲下InheritableThreadLocal在跨线程间变量传递的原理。在Thread类里，除了threadLocals 变量，还有一个inheritableThreadLocals变量，两者类型一模一样。inher
2021-01-18 15:32:02
1010
1
原创 G1调优实践日记--G1HeapWastePercent和InitiatingHeapOccupancyPercent的应用
背景最近有个算文本相似度的需求，当然这算法copy过来没做过什么验证就直接上线了，然后应用程序莫名就开始OOM，然后进程直接被kill掉，当然一开始我没想起来是这段算法代码的锅，我把java_pid18776.hprof文件down下来先用jprofiler研究了一番，居然发现没有什么大对象，然后我以为是其它原因，比如kafka消费量大导致的问题，然后去折腾jvm参数。直接导致我因为没有找到根本原因白白浪费时间。但是有失必有得，这次我也了解了G1的一些有用的调优参数，帮助我后期更了解G1顺便抱怨一句，下
2020-11-11 18:06:40
14509
5
原创 Redis的用武之处--redis lua脚本实践令牌桶限流
何为令牌桶限流之前写过 限流工具类的文章Redis的用武之处–由短信限流引出的分布式锁和漏斗限流（上）Redis的用武之处–由短信限流引出的分布式锁和漏斗限流（上）但是后面了解发现自己当初写的确实不伦不类，对漏斗限流的理解有误，再加上代码里面为了保证原子性，用了很多重量级锁，对性能也有影响，所以看了这篇文章后，决定重新写限流工具。简析限流算法根据自己的实际业务，我选择令牌桶作为我的限流算法，该限流算法简单说就是一个桶里匀速会一直放令牌，当有任务要执行时，它必须先从令牌桶里取一个令牌，如果桶里有令
2020-10-13 13:44:38
329
原创 @Transactional内部的秘密
我们都知道Transactional是通过aop实现的,这里介绍一下更底层的代码原理，我们直接从AnnotationAwareAspectJAutoProxyCreator这个类开始分析, 也就是说当一个服务类的某个方法带上了@Transactional时，这个类是如何帮助生成代理类的.AnnotationAwareAspectJAutoProxyCreator 的继承图如下图所示，我们可以看到它本质是一个BeanPostProcessor,BeanPostProcessor 会在对象初始化的前后,对对象
2020-07-21 17:04:53
860
原创 String与常量池
这一篇主要还是记录一下String 对象的创建，通过一个个小例子总结一下 String a = "1"; String b = "1"; System.out.println(a == b);这个 a 和 b 取的都是 Constant pool 常量池，我们用javac看一下字节码文件。javap -v StringJson 的执行结果，可以看到 String 1 取的都是 Constant pool 里的#2， 那程序的执行结果也很明确了， 为
2020-06-14 14:19:52
138
原创 spring之我见- spring循环依赖为啥是三级缓存？
单例在spring里的获取方式今天讲一下spring中针对单例bean的循环依赖问题，本着追本溯源的学习理念，我们要先知道单例在spring中怎么管理的。spring获取实例都通过beanfactory的getBean方法获取实例，顺着代码而下，在doGetBean方法(AbstractBeanFactory)中，单例总是通过getSingleton()方法获取缓存实例。protected &...
2020-03-06 15:35:34
2425
1
原创 mysql索引实用优化实践
背景最近在写一些数据统计的面板，里面有sql对表数据的聚合统计，我的主表现在有100来万的数据，其间看了很多资料。记录一下sql索引的优化过程. sql 如下,只有一个连表查询，再加上函数聚合出结果select count(if(b.severity = 1, true, null)) severityAllNum, count(if(b.severity = 2, true,...
2020-01-13 19:29:26
394
原创 JAVA锁的集大成应用者--synchronized的锁优化
前言之前博客转载过美团的锁介绍文章 【基本功】不可不说的Java“锁”事–转自美团技术博客，写的非常好，但是在锁的落地中，有哪个可以囊括大部分锁的落地应用，我觉得synchronized可以是一个。下面就讲讲synchronized的锁优化。对象头我们用过synchronized的都知道，它的使用语法是用一个对象来当“钥匙”的。哪个线程有这把钥匙，哪个线程就可以自由出入synchronize...
2019-11-12 15:34:04
239
原创 钉钉机器人限流应对方案--延迟队列的实现和内存泄漏思考(下)
没有被回收的对象上篇文章介绍了自己写的延迟队列工具。我们提到，延迟队列不需要长久存活，我们使用带有lru功能的LinkedHashMap来淘汰一些不常用的LimitUtil。但是对象有没有真的会回收呢？简单写了一个测试类，建了三个对象，Lru容量设为1LRU<String, LimitUtil> map = new LRU<>(1, 0.75f);@Test ...
2019-10-15 17:45:03
872
原创 钉钉机器人限流应对方案--延迟队列的实现和内存泄漏思考(上)
需求最近做公司的报警系统，需要做钉钉推送报警信息，但是钉钉有限流措施，一分钟内发多了会导致"send too fast"异常，虽然我们可以通过限流工具来拒绝多余的信息，但是我们希望信息不要漏掉.如果推送时间接受可以晚一点的话，我们可以通过延时队列解决。JDK里的延时队列其实jdk就有现成的延时队列 DelayQueue。里面存放的元素必须要全部实现 Delayed接口，Delayed接口只有...
2019-10-14 19:50:43
2541
原创 nginx构建图片服务(裁剪+压缩+缓存)
背景最近和朋友在建一个小站，主要展示图片的，对象存储服务囊中羞涩，就根据nginx自己弄一个图片存储服务，实现了动态压缩，裁剪以及缓存等功能。ngx_http_image_filter_modulenginx 有很多现成好用的模块，ngx_http_image_filter_module就是专门用来处理图片的，如果一个网站需要缩略图或是指定尺寸的图片，image_filter_module会...
2019-08-25 22:18:33
3281
原创 CyclicBarrier自旋改造
前言最近java的concurrent库学习的热火朝天，有以 悲观锁 为代表，AQS运用的如火纯青的LinkedBlockingQueue，ArrayBlockingQueue。也有 乐观锁 为代表，把 CAS+自旋 演示的出神入化的ConcurrentLinkedQueue。当然还有像ReentrantReadWriteLock为代表，犹如教科书般的 独占锁+共享锁 实际运用。总之一句话，D...
2019-07-12 17:48:14
206
原创 聊聊ReentrantLock的锁设计
前言之前看过美团的一篇不可不说的Java“锁”事，对java锁的概念做了一次梳理，其实在java类中，ReentrantLock算是一个对锁概念运用的典范，看懂它的源码对锁的理解很有帮助。我也以ReentrantLock为原型，略加改动使之能在分布式环境中运行。幕后功臣AQS当我们看第一眼ReentrantLock源码，里面有一个Sync对象，它继承AbstractQueuedSynchro...
2019-06-18 14:35:42
386
原创 记一次OOM排查过程(入门版)
第一次线上遇到问题，最近也在学jvm，记录一下，算是一个入门版jvm故障排查，希望能给新手带来一点干货。背景机器 (2c8g) 默认jvm部分关键参数配置:Xmx 最大堆内存Xms 最小堆内存UseG1GC 使用G1垃圾回收器PrintGCDetails/PrintGC 打印GC详细日志HeapDumpOnOutOfMemoryError 这个是故障排查关键，会在OOM的时候生成...
2019-06-06 10:43:14
1809
转载 深入理解Java内存模型（七）-- 总结
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。处理器内存模型顺序一致性内存模型是一个理论参考模型，JMM和处理器内存模型在设计时通常会把顺序一致性内存模型作为参照。JMM和处理器内存模型在设计时会对顺序一致性模型做一些放松，因为如果完...
2019-06-01 17:10:34
132
转载 深入理解Java内存模型（六）-- final
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。增强的final语义与前面介绍的锁和volatile相比较，对final域的读和写更像是普通的变量访问。对于final域，编译器和处理器要遵守两个重排序规则：在构造函数内对一个fina...
2019-06-01 16:51:45
127
转载 深入理解Java内存模型（五）-- 锁
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。锁的释放-获取建立的happens before 关系锁是java并发编程中最重要的同步机制。锁除了让临界区互斥执行外，还可以让释放锁的线程向获取同一个锁的线程发送消息。下面是锁释放-获取的...
2019-06-01 16:03:53
104
转载 深入理解Java内存模型（四）-- volatile
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。volatile的特性当我们声明共享变量为volatile后，对这个变量的读/写将会很特别。理解volatile特性的一个好方法是：把对volatile变量的单个读/写，看成是使用同一个锁对...
2019-06-01 15:36:52
137
转载 深入理解Java内存模型（三）-- 顺序一致性
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。数据竞争与顺序一致性保证当程序未正确同步时，就会存在数据竞争。java内存模型规范对数据竞争的定义如下：在一个线程中写一个变量，在另一个线程读同一个变量，而且写和读没有通过同步来排序...
2019-06-01 14:51:41
232
转载 深入理解Java内存模型（二）-- 重排序
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。数据依赖性如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型： 名称 ...
2019-06-01 14:31:00
107
转载 深入理解Java内存模型（一）-- 基础
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整，所以通过快照找到原图，并在本人博客中做转载保存。提纲java线程之间的通信对程序员完全透明，内存可见性问题很容易困扰java程序员，本文试图揭开java内存模型神秘的面纱。本文大致分三部分：重排序与顺序一致性；三个同步原语（lock，vo...
2019-06-01 12:50:28
197
原创 Redis的用武之处--由短信限流引出的分布式锁和漏斗限流（下）
分布式锁有些人应该用过Redission这个redis中间件框架，它以 使用者忘记redis本身命令，而更多关注业务为目标，所以它的api不同于jedis，redission就原生提供了分布式锁，限流器等现成的工具类。我以重复"造轮子"为宗旨，试着写写这个分布锁。上一篇我们知道光一个漏斗限流在生产环境是不行的，容易因为并发导致出现问题，我们需要给这个限流器上一把锁，先贴流程图/代码：这把锁...
2019-04-27 16:30:26
574
原创 Redis的用武之处--由短信限流引出的分布式锁和漏斗限流（上）
需求项目有一个群发短信提醒的模块，这种东西做出来就需要谨慎，要做好单位时间限流，不然因为bug而导致短信发送失控那就不得了了，
2019-04-27 14:14:37
872
原创 代理模式及FactoryBean的实际运用--Mybatis Mapper文件的华丽转身
Mybatis的Mapper我们很熟悉，我们只需要提供sql和一个接口，其余与数据库的交互全部交给了Mybatis解决，但是，mapper文件我们只提供一个接口，这个接口是怎么和spring结合完成我们预期的要求？FactoryBean一般情况下，Spring通过反射机制利用的class属性指定实现类实例化Bean，在某些情况下，实例化Bean过程比较复杂，如果按照传统的方式，则需要在中提供大...
2019-03-06 11:01:48
3340
sql转java代码 v1.1
2016-02-18
SQL转Java代码小工具
2015-11-01
《c++对参赛结果分数进行处理》实验报告
2015-02-11
java 泛型的问题，求答案
2017-10-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人