- 博客(111)
- 资源 (7)
- 问答 (1)
- 收藏
- 关注
原创 Elasticsearch集群配置-节点职责划分 & Hot Warm 架构实践
本文主要讲了ES在节点部署时可以考虑的节点职责划分,如果不考虑节点部署,那么所有节点都会身兼数职(master-eligible ,data,coordinate等),这对后期的维护拓展并不利,所以本文从节点介绍出发,再到实践Hot Warm 架构,让大家有个es集群分职责部署有个直观印象。然后仍要着重强调,本文只是一个引子,只是告诉你ES有这个东西,当看完本文,以后的所有问题都应该直接去看。
2024-07-24 15:48:34
1171
1
原创 Elasticsearch搜索优化-自定义路由规划(routing)
自定义路由在用户了解查询需求和业务的基础之上,可以对查询性能进行优化,然而使用不当会导致数据不平衡,重复ID等问题。所以要充分了解其机制再去使用(这里再次推荐看下官方文档),避免反向优化。
2024-06-04 15:27:36
1180
原创 RocketMQ顺序消费
根据公司项目的一个使用场景,针对实时预警任务,会有同时消费某个设备正常或异常的事件,而这类事件具有时间维度上的先后性,需要符合先进先出(FIFO)原则进行发布和消费,而MQ消费为了吞吐量基本会使用多线程消费,RocketMQ也会分为多个消息队列,会造成消费无序的情况,这时候为了综合兼顾顺序消费+性能的考虑,可以使用分区顺序消息的策略。
2024-05-27 16:16:49
152
原创 MyBatis懒加载数据(大批量数据处理)
Cursor约定使用Iterator去懒加载数据,以时间换空间,非常适合处理通常无法容纳在内存中的数百万个项目查询。如果在 resultMap 中使用集合,则必须使用 resultMap 的 id 列对游标 SQL 查询进行排序(resultOrdered=“true”)。
2024-05-27 15:01:04
383
原创 MySQL查询计划key_len如何计算
desc 中的 key_len 表示使用的索引长度,是以字节为单位。根据这个值,就可以判断索引使用情况,特别在使用联合索引的时候,判断有多少的索引字段能被查询用到。
2022-07-15 12:45:32
497
转载 Spring主从数据库的配置和动态数据源切换原理
在大型应用程序中,配置主从数据库并使用读写分离是常见的设计模式。在Spring应用程序中,要实现读写分离,最好不要对现有代码进行改动,而是在底层透明地支持。Spring内置了一个AbstractRoutingDataSource,它可以把多个数据源配置成一个Map,然后,根据不同的key返回不同的数据源。因为AbstractRoutingDataSource也是一个DataSource接口,因此,应用程序可以先设置好key, 访问数据库的代码就可以从AbstractRoutingDataSource拿到对
2022-03-06 17:14:07
1108
原创 HTTPS 原理简要总结
HTTPS 的原理最近看了下《图解 HTTP》,对 HTTPS 怎么实现安全的原理总结了一下。HTTPS 的原理要从怎么解决安全性问题来一步步阐明,这样说起来会更清晰一点:如何解决网络传播中数据安全问题?答:运用对称加密或者非对称加密来加密数据内容。https 使用对称加密加密数据内容,不使用非对称加密是因为性能比对称加密更差。对称加密的密钥需要双方都要知道,如何保证密钥安全?答:使用非对称加密加密对称加密的密钥。客户端拥有非对称加密的公钥,对对称加密的密钥加密后,传给服务端,服务端用非
2022-02-01 20:07:50
2054
原创 Tomcat整体架构+启动流程+各种线程 随手小记
最近学了一下tomcat启动流程,顺便把里面的各种线程/优化点梳理了一下。因为tomcat架构确实繁杂,也不想大费周章一点点写了,就当给自己的笔记,也就大概自己能看懂了,啊哈哈。tomcat启动流程图自己整理了一下uml时序图。主要还是要了解tomcat整体架构,如下图,重点在于了解:connector 负责接收http请求,这时候tomcat还是一个http服务器。Engine,host,context,wrapper 则是负责servlet容器启动,启动后http请求会根据路由规则转发到指定的
2021-11-28 10:51:33
1394
原创 spring之我见 - 从 RefreshScope 理解IOC的世界不仅仅只有单例
从 getBean 讲起getBean 方法是我们的老朋友,在里面有一个细节我们可能会忽略。spring ioc 针对不同的 bean 管理模式有不同的执行策略,而我们最常见熟知的就是单例和原型,下面就是在创建bean的时候首先根据不同的管理策略执行不同的逻辑方法,而我们今天要讲的是比较少走的else逻辑部分。if (mbd.isSingleton()) { ...}else if (mbd.isPrototype()) { .....}else {
2021-09-30 18:05:06
309
原创 从方法调用看Java语言的 `静态多分派,动态单分派` 特性
方法调用方法调用对虚拟机来说并不只是执行一个方法,更重要的是确定要执行的目标方法,比如在复写的情况下,要知道该调用父类还是子类的方法。而在重载的情况下,又要在多个同名的方法中选取一个执行。当我们慢慢打开虚拟机的黑盒时,对虚拟机大致的执行逻辑也就一目了然。解析调用在class文件字节码中,因为没有分配内存,调用方法都是一个个符号引用表示依赖关系,在类加载的解析阶段,符号引用会转换为直接引用(确定内存地址),这种在 编译期间即可知,运行期间不会变 的叫做解析, 而符合这种方法有静态方法,私有方法,被f
2021-09-01 10:58:12
232
原创 G1调优实践日记--被误解的MetaspaceSize
MetaspaceMetaspace 大家应该很熟悉了,所有线程共享的一块内存区域,主要存放已被虚拟机加载的类定义,方法定义,常量等一些元数据信息,运行时常量池(Runtime Constant Pool)也是方法区的一部分,Class 文件中的常量池表(Constant Pool Table,里面各种字面量和符号引用),被类加载后就放入方法区的运行时常量池 。运行时常量池并不只有编译时才往里放东西,运行时也可以放新的常量,比如 String.intern()。有一个别名叫“非堆”。jdk1.8以后直接
2021-08-27 18:01:23
4076
原创 spring之我见 - Ribbon如何在RestTemplate起作用(SmartInitializingSingleton)
还是IOC的知识 – Ribbon是何时塞入RestTemplate中的ribbon是一个客户端侧的负载均衡器,如果你使用 restTemplates 和 eureka, ribbon会将url中的 服务名 直接转换成请求的ip, 而 restTemplates 内部有一个 interceptors list(拦截器),让 ribbon 有地方可以施展拳脚. 那么在spring启动的时候,是什么时候把 ribbon 塞进 restTemplates 的拦截器中的呢?public abstract c
2021-07-15 18:09:02
308
原创 spring之我见 - Spring AOP实现原理(下)
预备材料这一篇需要先把我本地的demo应用代码放出来。然后上篇说到, 我们已经准备好了各种食材,这一篇真正开始看看 AOP 是怎么代理某个对象的.@Aspect@Componentpublic class TestAspectJ { @Pointcut("execution(* com.example.demo.service.TestService.test())") public void testPointcut() { } @Before("testPoi
2021-06-02 18:22:31
334
1
原创 spring之我见 - Spring AOP实现原理(上)
前言以前写过一篇文章, 专门讲了spring的动态代理实现原理 从代理模式再出发!Proxy.newProxyInstance的秘密, 这一次我们探究下动态代理模式比较重量级的应用 – Spring AOP 的源码实现. 本文重在讲主流程, 为了让流程更清楚, 本篇会补上很多Spring IOC 的知识.spring-boot-starter-aop 的启用 - ConfigurationClassPostProcessorConfigurationClassPostProcessor的由来都知道要
2021-05-19 14:49:49
354
1
原创 一窥TransmittableThreadLocal
ThreadLocal在我们平时的开发中很常见,拥有线程级别的变量共享,但是现在的项目都是跨线程的调用,如果主线程创建了另一个线程(父子线程),另一个线程还能拿到主线程的数据吗?这时候ThreadLocal就力不从心了,还好jdk提供了InheritableThreadLocal类,我们稍微讲下InheritableThreadLocal在跨线程间变量传递的原理。在Thread类里,除了threadLocals 变量,还有一个inheritableThreadLocals变量,两者类型一模一样。inher
2021-01-18 15:32:02
1010
1
原创 G1调优实践日记--G1HeapWastePercent和InitiatingHeapOccupancyPercent的应用
背景最近有个算文本相似度的需求,当然这算法copy过来没做过什么验证就直接上线了,然后应用程序莫名就开始OOM,然后进程直接被kill掉,当然一开始我没想起来是这段算法代码的锅,我把java_pid18776.hprof文件down下来先用jprofiler研究了一番,居然发现没有什么大对象,然后我以为是其它原因,比如kafka消费量大导致的问题,然后去折腾jvm参数。直接导致我因为没有找到根本原因白白浪费时间。但是有失必有得,这次我也了解了G1的一些有用的调优参数,帮助我后期更了解G1顺便抱怨一句,下
2020-11-11 18:06:40
14509
5
原创 Redis的用武之处--redis lua脚本实践令牌桶限流
何为令牌桶限流之前写过 限流工具类的文章Redis的用武之处–由短信限流引出的分布式锁和漏斗限流(上)Redis的用武之处–由短信限流引出的分布式锁和漏斗限流(上)但是后面了解发现自己当初写的确实不伦不类,对漏斗限流的理解有误,再加上代码里面为了保证原子性,用了很多重量级锁,对性能也有影响,所以看了这篇文章后,决定重新写限流工具。简析限流算法根据自己的实际业务,我选择令牌桶作为我的限流算法,该限流算法简单说就是一个桶里匀速会一直放令牌,当有任务要执行时,它必须先从令牌桶里取一个令牌,如果桶里有令
2020-10-13 13:44:38
329
原创 @Transactional内部的秘密
我们都知道Transactional是通过aop实现的,这里介绍一下更底层的代码原理,我们直接从AnnotationAwareAspectJAutoProxyCreator这个类开始分析, 也就是说当一个服务类的某个方法带上了@Transactional时,这个类是如何帮助生成代理类的.AnnotationAwareAspectJAutoProxyCreator 的继承图如下图所示,我们可以看到它本质是一个BeanPostProcessor,BeanPostProcessor 会在对象初始化的前后,对对象
2020-07-21 17:04:53
860
原创 String与常量池
这一篇主要还是记录一下String 对象的创建,通过一个个小例子总结一下 String a = "1"; String b = "1"; System.out.println(a == b);这个 a 和 b 取的都是 Constant pool 常量池,我们用javac看一下字节码文件。javap -v StringJson 的执行结果,可以看到 String 1 取的都是 Constant pool 里的#2, 那程序的执行结果也很明确了, 为
2020-06-14 14:19:52
138
原创 spring之我见- spring循环依赖为啥是三级缓存?
单例在spring里的获取方式今天讲一下spring中针对单例bean的循环依赖问题,本着追本溯源的学习理念,我们要先知道单例在spring中怎么管理的。spring获取实例都通过beanfactory的getBean方法获取实例,顺着代码而下,在doGetBean方法(AbstractBeanFactory)中,单例总是通过getSingleton()方法获取缓存实例。protected &...
2020-03-06 15:35:34
2425
1
原创 mysql索引实用优化实践
背景最近在写一些数据统计的面板,里面有sql对表数据的聚合统计,我的主表现在有100来万的数据,其间看了很多资料。记录一下sql索引的优化过程. sql 如下,只有一个连表查询,再加上函数聚合出结果select count(if(b.severity = 1, true, null)) severityAllNum, count(if(b.severity = 2, true,...
2020-01-13 19:29:26
394
原创 JAVA锁的集大成应用者--synchronized的锁优化
前言之前博客转载过美团的锁介绍文章 【基本功】不可不说的Java“锁”事–转自美团技术博客,写的非常好,但是在锁的落地中,有哪个可以囊括大部分锁的落地应用,我觉得synchronized可以是一个。下面就讲讲synchronized的锁优化。对象头我们用过synchronized的都知道,它的使用语法是用一个对象来当“钥匙”的。哪个线程有这把钥匙,哪个线程就可以自由出入synchronize...
2019-11-12 15:34:04
239
原创 钉钉机器人限流应对方案--延迟队列的实现和内存泄漏思考(下)
没有被回收的对象上篇文章介绍了自己写的延迟队列工具。我们提到,延迟队列不需要长久存活,我们使用带有lru功能的LinkedHashMap来淘汰一些不常用的LimitUtil。但是对象有没有真的会回收呢?简单写了一个测试类,建了三个对象,Lru容量设为1LRU<String, LimitUtil> map = new LRU<>(1, 0.75f);@Test ...
2019-10-15 17:45:03
872
原创 钉钉机器人限流应对方案--延迟队列的实现和内存泄漏思考(上)
需求最近做公司的报警系统,需要做钉钉推送报警信息,但是钉钉有限流措施,一分钟内发多了会导致"send too fast"异常,虽然我们可以通过限流工具来拒绝多余的信息,但是我们希望信息不要漏掉.如果推送时间接受可以晚一点的话,我们可以通过延时队列解决。JDK里的延时队列其实jdk就有现成的延时队列 DelayQueue。里面存放的元素必须要全部实现 Delayed接口,Delayed接口只有...
2019-10-14 19:50:43
2541
原创 nginx构建图片服务(裁剪+压缩+缓存)
背景最近和朋友在建一个小站,主要展示图片的,对象存储服务囊中羞涩,就根据nginx自己弄一个图片存储服务,实现了动态压缩,裁剪以及缓存等功能。ngx_http_image_filter_modulenginx 有很多现成好用的模块,ngx_http_image_filter_module就是专门用来处理图片的,如果一个网站需要缩略图或是指定尺寸的图片,image_filter_module会...
2019-08-25 22:18:33
3281
原创 CyclicBarrier自旋改造
前言最近java的concurrent库学习的热火朝天,有以 悲观锁 为代表,AQS运用的如火纯青的LinkedBlockingQueue,ArrayBlockingQueue。也有 乐观锁 为代表,把 CAS+自旋 演示的出神入化的ConcurrentLinkedQueue。当然还有像ReentrantReadWriteLock为代表,犹如教科书般的 独占锁+共享锁 实际运用。总之一句话,D...
2019-07-12 17:48:14
206
原创 聊聊ReentrantLock的锁设计
前言之前看过美团的一篇不可不说的Java“锁”事,对java锁的概念做了一次梳理,其实在java类中,ReentrantLock算是一个对锁概念运用的典范,看懂它的源码对锁的理解很有帮助。我也以ReentrantLock为原型,略加改动使之能在分布式环境中运行。幕后功臣AQS当我们看第一眼ReentrantLock源码,里面有一个Sync对象,它继承AbstractQueuedSynchro...
2019-06-18 14:35:42
386
原创 记一次OOM排查过程(入门版)
第一次线上遇到问题,最近也在学jvm,记录一下,算是一个入门版jvm故障排查,希望能给新手带来一点干货。背景机器 (2c8g) 默认jvm部分关键参数配置:Xmx 最大堆内存Xms 最小堆内存UseG1GC 使用G1垃圾回收器PrintGCDetails/PrintGC 打印GC详细日志HeapDumpOnOutOfMemoryError 这个是故障排查关键,会在OOM的时候生成...
2019-06-06 10:43:14
1809
转载 深入理解Java内存模型(七)-- 总结
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。处理器内存模型顺序一致性内存模型是一个理论参考模型,JMM和处理器内存模型在设计时通常会把顺序一致性内存模型作为参照。JMM和处理器内存模型在设计时会对顺序一致性模型做一些放松,因为如果完...
2019-06-01 17:10:34
132
转载 深入理解Java内存模型(六)-- final
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。增强的final语义与前面介绍的锁和volatile相比较,对final域的读和写更像是普通的变量访问。对于final域,编译器和处理器要遵守两个重排序规则:在构造函数内对一个fina...
2019-06-01 16:51:45
127
转载 深入理解Java内存模型(五)-- 锁
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。锁的释放-获取建立的happens before 关系锁是java并发编程中最重要的同步机制。锁除了让临界区互斥执行外,还可以让释放锁的线程向获取同一个锁的线程发送消息。下面是锁释放-获取的...
2019-06-01 16:03:53
104
转载 深入理解Java内存模型(四)-- volatile
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。volatile的特性当我们声明共享变量为volatile后,对这个变量的读/写将会很特别。理解volatile特性的一个好方法是:把对volatile变量的单个读/写,看成是使用同一个锁对...
2019-06-01 15:36:52
137
转载 深入理解Java内存模型(三)-- 顺序一致性
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。数据竞争与顺序一致性保证当程序未正确同步时,就会存在数据竞争。java内存模型规范对数据竞争的定义如下:在一个线程中写一个变量,在另一个线程读同一个变量,而且写和读没有通过同步来排序...
2019-06-01 14:51:41
232
转载 深入理解Java内存模型(二)-- 重排序
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。数据依赖性如果两个操作访问同一个变量,且这两个操作中有一个为写操作,此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型: 名称 ...
2019-06-01 14:31:00
107
转载 深入理解Java内存模型(一)-- 基础
很棒的一个关于Java内存模型系列文章转载自并发编程网 – ifeve.com本文链接地址: 深入理解java内存模型系列文章因文章有些配图已经不完整,所以通过快照找到原图,并在本人博客中做转载保存。提纲java线程之间的通信对程序员完全透明,内存可见性问题很容易困扰java程序员,本文试图揭开java内存模型神秘的面纱。本文大致分三部分:重排序与顺序一致性;三个同步原语(lock,vo...
2019-06-01 12:50:28
197
原创 Redis的用武之处--由短信限流引出的分布式锁和漏斗限流(下)
分布式锁有些人应该用过Redission这个redis中间件框架,它以 使用者忘记redis本身命令,而更多关注业务为目标,所以它的api不同于jedis,redission就原生提供了分布式锁,限流器等现成的工具类。我以重复"造轮子"为宗旨,试着写写这个分布锁。上一篇我们知道光一个漏斗限流在生产环境是不行的,容易因为并发导致出现问题,我们需要给这个限流器上一把锁,先贴流程图/代码:这把锁...
2019-04-27 16:30:26
574
原创 Redis的用武之处--由短信限流引出的分布式锁和漏斗限流(上)
需求项目有一个群发短信提醒的模块,这种东西做出来就需要谨慎,要做好单位时间限流,不然因为bug而导致短信发送失控那就不得了了,
2019-04-27 14:14:37
872
原创 代理模式及FactoryBean的实际运用--Mybatis Mapper文件的华丽转身
Mybatis的Mapper我们很熟悉,我们只需要提供sql和一个接口,其余与数据库的交互全部交给了Mybatis解决,但是,mapper文件我们只提供一个接口,这个接口是怎么和spring结合完成我们预期的要求?FactoryBean一般情况下,Spring通过反射机制利用的class属性指定实现类实例化Bean,在某些情况下,实例化Bean过程比较复杂,如果按照传统的方式,则需要在中提供大...
2019-03-06 11:01:48
3340
sql转java代码 v1.1
2016-02-18
SQL转Java代码小工具
2015-11-01
《c++对参赛结果分数进行处理》实验报告
2015-02-11
java 泛型的问题,求答案
2017-10-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人