架构设计
文章平均质量分 88
fenglllle
这个作者很懒,什么都没留下…
展开
-
关于数字存储和byte[]数组的一些心得
实际上这次是一些碎碎念,核心还是计算机的原理,计算机因为电气性能只设计有0、1,所以是2进制,存算都是2进制。而且计算机在设计之初只设计了加法,没设计或者设计减法有问题,导致数据相减运算都是加运算,所以需要存储和运算负数,那么就需要定义负数的存储和相加逻辑,就设计了反码和补码来存储负数。另外一个字节存储能力有限,往往需要很多字节来存储一个内容,那么符号位的定义在总体结构很明晰,但是对于字节数组的单个字节就会存在歧义,造成数据可读性很迷惑,因为符号位的特殊意义。原创 2024-08-31 23:07:13 · 1187 阅读 · 0 评论 -
雪花算法的一些问题解析
雪花算法实际上设计极为巧妙,通过时间戳,机器码,序列号(自增)来达到某个时间段(默认1毫秒)在某个并发下(并发超出自增ID就会重复或者阻塞等问题,不过我们一般达不到,且可以通过负载均衡增加资源规避),不重复ID。实现了加资源的方式来达到分布式ID不重复,且自增的特性。原创 2024-07-29 18:05:59 · 700 阅读 · 0 评论 -
Tomcat get请求传数组集合参数
最近做项目,需要通过GET传参,来实现查询的能力,本来是RPC调用,直接参数序列化即可。但是服务最近修改为HTTP,本来Spring Cloud的feign也可以直接传参数,但是当使用Nginx访问时参数到底传啥呢,笔者传入?list=['xxx']直接就报错了,错误类型。原创 2024-06-24 22:54:32 · 1101 阅读 · 0 评论 -
Spring boot 注入成员变量HttpServletRequest的原理
最近做项目,springboot项目,本来我们在controller的requestmapping取参数值或者返回写时,使用方法参数,但是发现老项目直接注入了成员变量,Spring本身是单例的,如果是成员变量注入,那么也是单例的,怎么实现不同的请求读取不同的参数呢,如果实现线程安全呢,笔者立马想到了ThreadLocal,但是如果要说就是这个原理,那么必须源码证明。原创 2024-05-21 22:25:12 · 967 阅读 · 0 评论 -
Chrome 侧边栏开发示例
最近做项目,需要开发浏览器扩展,但是考虑页面布局兼容性问题,使用了Chrome114开始的侧边栏,浏览器自带的能力毕竟不会出现兼容性问题,不过Chrome123开始,侧边栏居然又可以选择固定右侧扩展栏了,交互变化很大。原创 2024-04-21 21:33:30 · 3725 阅读 · 1 评论 -
sonar-java 手写一个规则-单元测试分析
最近做项目,定制sonar规则,提高Java代码质量,在编写的sonar规则,做验证时,使用单元测试有一些简单的心得感悟,分享出来。sonar的自定义规则很简单,一般而言有2种模式可以使用:1. 自定义扫描代码逻辑,并对分类的Tree的结构处理2. 使用已扫描的分类,对分好类的Tree进行分析。原创 2024-02-25 15:09:54 · 1885 阅读 · 0 评论 -
mybatis plus相同Id与xml配置错误时,mybatis plus解决逻辑
mybatis plus这个是直接丢弃相同Id的statement,安装先后顺序,会造成执行过程的误解,不过有日志可以查看,而且mybatis原生的starter是有校验的,直接报错了。mybatis的xml如果写错,那么启动居然不报错,执行任意statement前需要执行未完成的statement,来达到快速失败的情况,这种情况对健康检查提出了新挑战,否则可能出现启动OK,但是mybatis失败的情况。原创 2024-01-09 22:46:08 · 1047 阅读 · 0 评论 -
Spring多个条件注解不同但BeanId相同的冲突
这个问题实际上出现不是很频繁,但是如果不经意就会出现我们不可预知的问题,尤其是初始化的情况,不同条件初始化绝对不一样,出现这种问题,我们很难知道根源,因为异常被吞了,启动也OK。当然解决问题是不使用id相同的Bean创建方式,因为如果异常,只要其中一个Bean创建成功即可成功,没异常我们发现不了问题;如果没有异常,相同的Bean id会被后创建的Bean替代,但是在相同id的时候是都会尝试创建,@ConditionOnXxx就不会执行,这个会跟我们需要的情况相违背。原创 2023-12-03 22:08:28 · 1246 阅读 · 0 评论 -
logback异步日志打印阻塞工作线程
实际上这个问题是使用问题,非常简单,不过越是简单的使用,却可能出现致命问题,一般公司都会统一脚手架或者统一规范的方式来实现标准的日志配置文件,防止错误配置导致业务问题,不知道未来Java虚拟线程大规模使用会不会缓解日志打印阻塞工作线程的问题,毕竟调度更优,不过如果线程池满载,虚拟线程也是无能为力。还是需要在丢日志和存储消费日志的能力作取舍。原创 2023-11-12 16:59:23 · 2462 阅读 · 0 评论 -
双活架构设计-连接集群
双活的设计是很有必要的,而且很传统的解决方案,融合了单元化思想,存算分离思想,实际上是矛盾又是统一的整体,单元化是有状态的,存算分离又是让运算无状态。那么设计存储一致性就很重要,保证一致性和最佳的性能,又会大量的使用缓存的思想。原创 2023-10-06 18:48:22 · 561 阅读 · 0 评论 -
Spring Cloud zuul扩展能力设计和心得
实际上Spring Cloud已经废弃zuul了,改用gateway,但是webflux的技术并没在实际项目大规模普及,还有很多servlet NIO的应用,所以zuul还是很有必要改造的,实测zuul调优(调节转发的连接池)跟gateway性能上差不多,所以研究了下zuul,发现设计理念很不错。原创 2023-10-06 12:23:48 · 205 阅读 · 0 评论 -
SLF4J日志绑定原理分析
最近做项目,实际上也知道日志冲突的事,不过涉及MDC NDC数据传递,当日志框架冲突后,MDC和NDC就失效了,这里就涉及slf4j-api的MDC的绑定的过程,顺便分析了日志冲突实际生效的原因,理解SLF4J的设计思想。SLF4JSimple Logging Facade for Java(SLF 4J)作为一个简单的facade或抽象,用于各种日志框架(例如logback、log4j2),从而允许最终用户在部署时插入所需的日志记录框架。简称门面模式,就是接口外加绑定实现。原创 2023-08-12 16:37:13 · 534 阅读 · 0 评论 -
Java文件的相对路径规则
最近做项目,又涉及到Linux Java文件的相对路径,但是相对路径在不同的服务器或者docker上居然不一样,这个就很难受,只能用绝对路径解决,因为绝对路径是固定的路径,但是相对路径为什么会在不同的服务器不一样呢?原创 2023-07-24 16:36:04 · 605 阅读 · 0 评论 -
client-go监听apiserver,监听http2逻辑分析
最近做项目,需要写一个controller(k8s的插件),需要从k8s的apiserver取数据,就用了自带的client-go,但是client-go是怎么从apiserver获取数据的一直没有研究过,只是看网上,看官方文档说是chunk读取数据,然而事实上,笔者却发现使用http2.0的长轮询。强烈建议使用linux或者mac开发机。原创 2023-01-31 18:45:49 · 1245 阅读 · 0 评论 -
go 函数或者方法参数调用的过程
最近做项目,使用go开发,但是在发生函数调用传参数时,对指针的指针的传递有难以理解的代码,就此分析过程。尤其是对于多重指针作为参数,而且对于一些内置函数的修改逻辑也需深入的理解。这里的问题是切片本身是指针,如果再加入指针,就是指针的指针,很难理解。而且再结合函数的参数,本身函数的参数是一个引用,栈变量自己又会分配内存地址,就更难理解了😅。这里的关键还有切片是一个结构体存储的,但是结构体又是内存值拷贝,而非内存地址引用。实际上可以结合内存分配的流程结合函数的入栈出栈,外加参数的存储结构很容易就明白原理了。原创 2023-01-17 22:09:52 · 780 阅读 · 0 评论 -
OpenRASP agent源码分析
目录前言准备源码分析1. manifest 2. agent分析3. agent卸载逻辑 总结笔者在很早前写了(231条消息) OpenRASP Java应用自我保护使用_fenglllle的博客-CSDN博客实际上很多商业版的rasp工具都是基于OpenRASP的灵感来的,主要就是对核心的Java类通过Javaagent技术,对特定的方法注入字节码,做参数验证。核心技术就是Javaagent,那么分析OpenRASP的agent实现原理,即可明白主流的rasp实现逻辑。 在OpenRASP上优化部分实现逻原创 2022-12-04 13:14:28 · 783 阅读 · 0 评论 -
grpc Java demo与Springboot改造支持grpc通信
最近调研grpc的情况,发现grpc实际上还是HTTP2协议,实际上就是http2+proto传输。那么是否可以在现有的server支持呢,试了下,还真可以,但是笔者在返回数据时有个问题一直没有思路。原创 2022-11-13 11:50:36 · 1206 阅读 · 0 评论 -
macOS istio bookinfo示例搭建
上一章安装了k8s,安装dashboard,实际上容器的应用才刚刚开始,容器由于灵活度,网络和管理难度大大增加,加上架构和业务分离(sidecar)的微服务架构。一般而言,分布式的粒度越细,管理越难,网络复杂度也大大增加,所以k8s就是专门管理容器的,但是流量负载却需要另外实现,比如istio。实际上这些都是demo性质的,关键还是管理和网络,比如sidecar可以自动注入和手动注入,可以使用ebpf实现网络加速,还可以集成其他sidecar模式,(istio默认使用envoy,即proxyv2)。...原创 2022-07-28 22:39:14 · 490 阅读 · 2 评论 -
websocket 传输文件
上一章实现了websocket传输文本信息,实际上网络传输的都是二进制0和1,因而也可以传输文件。实际上websocket是tcp上的双工协议,传输文件是没有问题的,只是需要定义应用层协议才行。如果使用Tomcat的websocket传输,注意传输内容大小。而且HTTP2.0和HTTP3.0并不能使用websocket,尤其是http3.0UDP协议。httpshttpshttps。...原创 2022-07-17 17:27:37 · 9320 阅读 · 0 评论 -
Java 双工通信与websocket协议
最近做项目,需要双工通信,考虑http协议,但是是单向的通信,只能请求响应,不能从服务端推送,如果要服务器推送,方式有很多,http轮训,长轮训,websocket等,实际上tcp传输层是双向通信的,原始的socket就可以实现。现在最常用的是websocket,因为可以复用http的底层tcp连接,方便,当然http3使用udp通信,基于QUIC保证连接可靠。...原创 2022-06-26 12:01:53 · 1142 阅读 · 0 评论 -
go 语言指针,值引用和指针引用
最近做项目,开发go的sdk,其中就涉及接口编程,类似typescript,指针,指针类型。就像C语音一样,指针就涉及指针引用。在go语言中*类型 在类型上表示当前类型是指针类型,在变量上表示指针的值&变量 表示是当前变量的指针使...原创 2022-06-23 22:50:02 · 397 阅读 · 0 评论 -
goreplay 录制回放源码解析
goreplay 录制回放源码解析前言流量录制流量回放数据模拟goreplay的源码分析goreplay demo构造goreplay源码分析启动分析运行时监听前言一般而言流量的录制与回放经常在测试过程中使用,自动化批量验证功能,或者用来做ABTest实验。流量在互联网公司就是数据,是用户,因而很多互联网公司就是流量公司,就是风口,本质上讲大数据分析就是分析流量,比如:杀熟。流量的回放仅仅是流量的一种用途,流量的录制是基础,只有录制好流量,可以有很多用途。流量录制流量的录制实际上有很多种方式,常见的原创 2022-05-07 11:33:35 · 1460 阅读 · 0 评论 -
内网穿透原理
前言内网穿透一般在家庭用户下NAS设备在经常折腾,实际上企业云服务就是典型的内网穿透,只不过方式原理有点不同,家庭网络因为宽带的上传限制和没有公网IP,难度大于企业宽带。实际上内网穿透就是反向代理,域名解析,DNS切换的技术通过一定方式组合起来的应用。方式所谓的内网穿透,本质就是提供各种访问,与网站、app等提供的方式类似,就是把本地的数据,通过HTTP、SMB、socket等方式提供给外部访问,数据来源可以是数据库、文件。1. 反向代理+公网ip一般而言几乎所有的服务器都是这种方式,私原创 2022-04-17 14:41:33 · 5237 阅读 · 1 评论 -
OpenRASP Java应用自我保护使用
前言笔者上一章写了编译openrasp-v8的JNI编译过程,实际上是百度开源的OpenRASP的引擎依赖包,简单体验了,基础功能非常不错,只是很多管理功能需要2次开发,体验了以下,分享过程。1. RASP与WAFRASP(Runtime application self-protection)运行时应用自我保护,将自身注入到应用程序中,与应用程序松耦合,进行实时监测、阻断攻击。对于JAVA而言,应用本身通过javaagent技术注入agent来实现,原有代码无需修改。实际上WAF的部分功能原创 2022-03-20 17:02:27 · 9878 阅读 · 0 评论 -
Tomcat线程居高不下的原因
前言笔者在解决业务的问题中发现,如果Tomcat在并发延迟突变高后,很容易线程数量飙高,而且短时间是降不下去的,除非重启,但是不能线程飙高就重启吧,实际上是线程池的逻辑,然而Tomcat开放的配置是限制的。1. Tomcat运行的线程配置Tomcat运行过程一般都是在server.xml中配置catalina-exec-xxx和http-nio-8080-xxx另外的配置2. Tomcat线程飙高很久的原因线程池的线程数量要超过core数量必须要正在执行的任务线.原创 2022-01-24 22:30:21 · 3500 阅读 · 0 评论 -
jar冲突问题与Tomcat 加载jar的顺序
前言笔者在解决业务问题的时候,很多业务提出了为啥我的服务在测试环境啥问题都没有,发布生产就出问题了,第一反应是配置不一样?????实际上部分原因可能还与发布的容器有关,比如Tomcat8,比如jar冲突。刚好解决了jar冲突的事情,总结分析原因。1. tomcat源码下载Tomcat的新版本是可以直接下载源码的,但是Tomcat7就只能Index of /dist/tomcat (apache.org)记得下载src2. tomcat 7与tomcat 8的区别以非嵌原创 2022-01-10 23:11:14 · 2961 阅读 · 0 评论 -
服务治理演进与微服务
前言以前经常提到微服务,而且微服务已经经过2014年后演变成大部分公司的主流技术架构设计,经过了很多市场产品的考验,想简单说说微服务的演进。1. 大型单体应用实际上很多应用的第一个阶段很可能是大型单体应用,在0几年很流行,was,weblogic等热部署能力,即使现在手机端app也在用,那个时候部署一个企业应用很慢,很重,需要小型机,大型机等,这些在现在可能还会在一些企业或者xx部门有遗留。然而大型单体应用并非整体化部署,而是模块化能力,部署一般而言是部署某个模块实际上服务注册的能力原创 2021-12-26 16:13:49 · 491 阅读 · 0 评论 -
javaagent技术原理
前言说道Javaagent是最近经常在使用这个技术,顺便了解了原理与根源,实际上就是jvm开个代理字节码修改的instrument接口。但实际上使用,根据使用的方式不同而略有区别。1. Javaagent使用实际上,笔者在前段时间写了arthas的启动原理(83条消息) arthas 启动原理分析_fenglllle的博客-CSDN博客,简单的说明了Javaagent的2种方式,jvm参数方式与动态attach。2. Javaagent原理3. idea debug总结..原创 2021-12-11 15:04:56 · 4445 阅读 · 1 评论 -
JVM 线程与进程,主线程
前言经常JVM进程启动过程中就自动退出,但是有时候却不会,笔者也没有深究原理,直到最近处理问题,发现不知道为什么进程退出。原来JVM早就定义了规范。这对我们开发中间件会提供一种设计规范。1. 进程退出1.1 线程执行结束进程退出demo如下:public class ThreadDaemon { public static void main(String[] args) { System.out.println("main thread start...");原创 2021-11-22 21:42:05 · 999 阅读 · 0 评论 -
Spring 事件源的用途
前言Spring已经非常熟悉,Spring容器状态事件也是日常使用的功能,经常用于解耦,但是有时候事件却会重复的监听,此时就需要处理了,source也是有特殊用途的。1. demo构造一个Spring boot应用,写一个监听器。@SpringBootApplicationpublic class EventMain { public static void main(String[] args) { ConfigurableApplicationContext原创 2021-11-01 21:21:53 · 724 阅读 · 0 评论 -
mysql-connect-java驱动从5.x升级到8.x的CST时区问题
前言旧项目MySQL Java升级驱动,本来一切都好好的,但是升级到8.x的驱动后,发现入库的时间比实际时间相差13个小时,这就很奇怪了,如果相差8小时,那么还可以说是时区不对,从驱动源码分析看看1. demopom依赖,构造一个真实案例 <dependencies> <dependency> <groupId>org.springframework.boot</groupId>原创 2021-09-23 21:36:26 · 1802 阅读 · 0 评论 -
arthas 启动原理分析
前言经常在应用的启动或者运行过程中需要动态的查看数据,或者实时的验证我们写的代码的结构与执行过程,此时需要一种工具能够动态的检测程序运行的状态,内存数据,线程情况,最好能够动态的替换代码实时生效,方便我们从日志或者其他埋点断言我们的猜测。1. arthas 阿尔萨斯的工程结构其实有很多工具可以达到这种效果,arthas就是其中一种。从工程结构,其实arthas的核心功能是core,里面有arthas的attach与诊断指令的代码。 通过实际启动分析进一步看原理。2. art.原创 2021-08-16 21:48:41 · 2490 阅读 · 0 评论 -
SDK升级无缝切换,更换返回值为什么需要重新编译
前言框架会经常迭代,那么更换包名也是其中一项,或者SDK变动后返回值变动。然而实际情况往往是需要使用最新的SDK再次编译才能生效,这是为什么呢1. demo模拟1.1 正常情况sdk写个bean,sdk方法,注意包名,打成jar包,deploy jarpackage com.feng.byt.sdk.model;public class Person{// extends com.feng.other.model.Person { private String name;原创 2021-07-18 21:56:32 · 263 阅读 · 1 评论 -
restTemplate文件上传与下载
前言上一章写了个文件上传的form表单解析器,但是有时候需要文件上传透传,当然也可以使用分布式文件系统解决这个问题,只是很多时候文件上传只是一个小功能,但是又不可或缺。其实文件上传下载可以通过restTemplate来实现,可以通过文件流的方式或者临时文件转发,推荐文件流,避免写文件清理的过程。1. restTemplaterestTemplate实际上是使用execute方法,随意看一个方法,最终调用execute方法,其他类似跟踪execute方法,doExecute prot原创 2021-07-18 18:54:11 · 7493 阅读 · 0 评论 -
Http Server 文件下载与上传,form表单字节码解析
前言为了实现轻量级的HttpServer,可以使用JDK自带的HttpServer API,那么如何实现文件上传与下载,其实要实现这些需要理解Http协议的输入与输出标记。1. HttpServer文件下载show me the code:????package com.feng.server.http;import com.sun.net.httpserver.HttpExchange;import com.sun.net.httpserver.HttpHandler;impor原创 2021-07-04 14:50:32 · 2057 阅读 · 5 评论 -
Java实现http服务器
前言有个需求,需要内嵌http服务,要求体积尽可能小,http并发很小,那么就自行实现一个http服务。其实http只是一种应用层协议:超文本传输协议。传输层协议为TCP。1. http协议http协议的内容通过抓包如下:可以看见Hypertext Transfer Protocol下标红的是http协议的核心,http header是说明协议,协议mime-type;body才是返回的内容。2. BIO HTTP demo...原创 2021-06-28 21:11:45 · 8104 阅读 · 1 评论 -
Java应用启动mainclass与Spring boot启动的原理
前言最近把旧项目的框架更换为Spring boot,打包方式更为jar启动,其实以前也不是war部署,而是通过main方式启动的,这里看看原理。1. main方式启动的原理java 命令启动可以-jar也可以直接带main class,那么直接启动带main方法的类即可启动应用 <!-- Assembly plugin --> <plugin> <groupId>org.apa原创 2021-05-30 21:26:28 · 5521 阅读 · 2 评论 -
fastjson classloader问题处理与原因分析
前言最近做项目,一个业务使用了多重classloader隔离,在fastjson转换toJson时,直接报类转换异常了。分析了一段时间,记录分析原因1. demo模拟涉及类自定义加载,这里项目结构如下自定义classloader,打破双亲委派并相互切换package com.feng.fastjson.demo;import com.alibaba.fastjson.JSON;import com.feng.demo.common.Cat;import java.io.F原创 2021-03-02 21:58:03 · 1596 阅读 · 0 评论 -
zookeeper 集群扩容方案 - 数据准确,停机扩容
前言 最近笔者做了ZK集群的扩容,总结了一些经验,分享一下,其实其中还是有些问题的。1. 扩容架构设计设计图如下:本质是zookeeper的3个节点扩容至5节点,实现2个节点的容错,提高稳定性。由于允许短时间停机,所以采用比较保守的方式扩容,没有采用不停集群扩展。总结为改配置,重启。至于不停机扩容,这个其实需要严格测试,根据停机扩容的情况,过程中出现的问题不少。2. 扩容过程的问题2.1 选主的过程zookeeper选举的原理是比较,当前服务器的epoc...原创 2021-01-17 21:36:17 · 2584 阅读 · 5 评论 -
zookeeper 3.5 AdminServer
zookeeper 3.5前言AdminServer配置AdminServer集群配置总结前言笔者很久没有使用zookeeper,一直稳定运行着3.4版本的zookeeper。并且业务也在流行去zk化,zk的ZAB协议决定了不能无限扩容,选主复制恢复决定了这是一个中心化的思想。但是笔者在升级到3.5的时候居然,不能启动,说Unable to start AdminServer。什么时候多了这玩意,干啥的呢?AdminServer笔者看日志发现是8080端口冲突,笔者查询了官方文档,说这是一个jett原创 2020-08-12 21:34:18 · 8102 阅读 · 0 评论