- 博客(43)
- 收藏
- 关注
RSS订阅原创 DangerWind-RPC-framework---八、Netty网络通信
客户端与服务端之间发送数据需要进行网络通信，而Netty恰好是一款出色的网络通信框架，Netty底层实现依赖于NIO，其工作线程组EventLoopGroup中的每一个EventLoop可以理解为一个线程，与NIO类似，EventLoopGroup的工作也是基于事件响应的，可以理解为bossEventLoop负责监听连接事件，并建立连接，众多workEventLoop监听读事件，在channel可读时读入数据并进行处理。因此需要自定义rpc协议，这也是rpc与http的区别之一。
2024-07-15 00:12:19
664
原创 DangerWind-RPC-framework---七、序列化算法
Kryo序列化算法性能较好，但是是线程不安全的，因此需要进行线程隔离，通过ThreadLocal为每个线程维护一个Kryo对象，使用完毕后就remove掉，之后需要使用时再次在threadLocal中初始化一个Kryo对象，这也是withInitial懒加载的过程。三种序列化算法的实现过程中，主要是需要对线程不安全的隐患进行处理，比如进行隔离等操作，以保证序列化操作的正确执行。客户端与服务端的在交互过程中需要互相发送交换数据，这就需要对传输对象进行序列化与反序列化操作，此过程涉及到序列化算法的使用。
2024-07-14 18:47:07
259
原创 DangerWind-RPC-framework---六、负载均衡
首先是根据对应服务的服务列表来获取身份标识，身份标识的作用是判断可用机器实例是否有发生变化，如果发生变化，那么本地缓存中对存储的应服务的哈希环就失效了，使用本地缓存也是因为构造哈希环是对计算资源有一定损耗的。按上述方式就完成了使用一致性哈希算法来选择机器的过程，生产场景中也是经常需要使用一致性哈希算法进行负载均衡，比如服务端机器本地缓存了一些非常耗时的操作，或者是不同的参数需要依赖不同的文件，为了防止文件的重复下载，也需要使用一致性哈希来进行负载均衡。哈希值和机器的映射保存在TreeMap中。
2024-07-14 00:56:28
638
1
原创 DangerWind-RPC-framework---五、服务端的反射调用
getService就是从服务端注册时的本地缓存中取出Bean。得到Bean后接下来需要根据方法名和方法的参数类型来获取到对应方法，获取到之后再调用方法获取结果，并返回。当服务端接收并解析来自客户端发出的数据之后，该如何调用客户端希望调用的方法呢？这主要是通过反射实现的。获取到相应结果之后，再按照相应的通信规则进行包装处理，发送给客户端进行响应。
2024-07-13 18:19:17
413
原创 DangerWind-RPC-framework---四、SPI
参考Dubbo的SPI机制，来实现本RPC框架的SPI部分。每个SPI接口都有自身的ExtensionLoader，调用getExtensionLoader时，首先会进行一系列的合法检查操作，之后会尝试获取该接口的ExtensionLoader，先尝试本地缓存CHM中获取，获取不到的话再创建Loader对象。由于（类标识，Class对象）、（Class对象，对象实例）、（类标识，对象实例）这三个缓存的存在，后续可以直接传入标识获取到对应类的实例，也优化了RPC框架的性能。
2024-07-11 00:30:13
434
原创 DangerWind-RPC-framework---三、服务端下机
自定义关闭线程池的逻辑可以更加优雅的实现线程池资源的释放。可以达到停止接受新的任务，继续在一定等待时间范围内执行已提交的任务，超出等待时间在强制终止线程池。服务端机器的优雅下线需要使用ShutdownHook，这相当于添加了一个关闭钩子，这个钩子是一个线程，它在JVM关闭时（即程序结束时）被调用，清理资源，优雅下机。当一台机器下线时，面临很多问题：如何将其从注册中心下线？客户端拉取服务列表时也使用了本地缓存，如何及时更新本地缓存？
2024-07-10 22:49:14
289
原创 DangerWind-RPC-framework---一、服务注册与发现
RpcScan注解定义时，通过@Import(CustomScannerRegistrar.class)引入CustomScannerRegistrar，意味着当任何一个Spring配置类上使用了@RpcScan注解，CustomScannerRegistrar也会被自动导入到Spring的配置中。这样，CustomScannerRegistrar的逻辑就会被执行，这通常涉及到自定义的扫描逻辑，比如扫描某些特定的注解，并将扫描到的类注册为Spring容器中的bean。将服务发布到注册中心。
2024-07-09 00:51:55
751
原创 NIO之非阻塞模式
NIO支持非阻塞模式，以网络连接和网络数据传输为例。如果使用阻塞模式，ServerSocketChannel在调用accept等待客户端建立连接是阻塞的，没有连接就一直阻塞。从Channel中读取客户端传送的数据也是阻塞的，没有数据就一直阻塞。当我们开启非阻塞模式，等待连接建立时没有连接就返回null，等到数据时没有数据就返回0。
2024-04-21 23:10:56
453
原创 NIO之ByteBuffer
如写模式下随着字符的写入，position的位置会相应地后移，当切换为读模式时，position会一直最前方，此时其代表读取位置。另一种是compact，这种方式是保留没读过的元素，也就是读模式的position和读模式的limit之间的元素，切换写模式时会被保留，position会指向被保留元素的下一个。limit是限制位置，在读写模式切换后limit的位置也跟着切换，切换到读限制位置和写限制位置。在读模式下limit一般位于buffer中最后一个字符的位置，即在读的时候不超出存有内容的范围即可。
2024-04-21 20:11:21
428
原创 动态规划解决布尔运算
本题的核心在于分治思想，即将一整个大问题的求解分治为很多小问题，最后再根据逻辑将其合并。dp[i][j][k] [i,j]区间运算结果为0或1的方法数，k=0或1，可由递推得到，初始化是对单个运算数进行初始化，为0的话dp[i][j][0]取1，反之取0。具体进行操作时按子数组长度由小到大的顺序遍历，每轮求出每个长度作为窗口在数组上滑动可以取的所有值。具体的合并过程在于将两边的所有可能情况相乘求出笛卡尔积，两边的子数组的长度都是比当前子数组长度短的子数组，在之前的循环中就已经求出了，现在刚好可以用上。
2024-04-21 03:03:46
196
原创 优先队列解决滑动窗口最大值问题
Java的优先队列支持根据自定义的comparator来排序，我们先将值大的放在队首，值相同元素越靠后越需要排在前面，后续每轮在添加一个元素后，我们需要选取窗口中的最大值，先将队首元素不在窗口内的弹出，然后直接取队首元素即可，不用担心队列后面还有不在窗口内的过期元素，因为并不影响我们取队首窗口内的最大值。遍历添加完所有元素，窗口也就移到了最后，这样就可以避免每次都对 窗口内元素进行排序。
2024-04-20 23:14:10
237
原创 背包问题小结
2.组合与排序：核心区别在于内外层问题，即先遍历背包还是先遍历物品，组合问题需要先固定物品，在遍历背包容量，因为不需要在意先后顺序。而排列则是先固定背包容量，在遍历物品，因为序号靠后的物品能拿的话也要先拿，需要在意顺序，当然这是完全背包的排列问题，排列问题通常对应的是完全背包。1.01背包与完全背包，最好都是先固定物品，在遍历背包容量。核心区别在于01要到序遍历容量防止多拿，完全要正序遍历允许多拿。
2024-04-05 23:12:30
103
原创 快速排序（单边、双边两种）
2.2.基准元素自身位置不需遍历 ，最后pointer指向的位置一定是大于基准元素的（如果有的话，否则是基准元素自身），因为比基准元素小的都移动到比pointer低的位置了，交换即可。2.1.需要额外注意，基准元素只能先选最后一个位置，因为在遍历过程中，第一个元素（位置较小的元素）有可能与其他比基准元素小的元素发生交换，最后想把基准元素放到应该的位置上时，却发现基准元素被换到未知地方去了。1.2.需要注意最后ij重合的位置，需要考虑这个位置和基准元素的大小关系，因为都有可能。1.快排核心在于递归。
2024-04-05 18:14:17
180
原创 非递归迭代前中后序遍历二叉树
3.使用一个指针记录上一个弹栈的节点，用以判断右子树是否遍历完毕。6.前中后序遍历共用一套模板，区别在于记录节点的时机不同。5.右子树没有遍历过需使用cur指向右子树继续遍历。2.设置stack栈记录遍历过的节点，方便回退。4.没有右子树或右子树遍历完才可弹栈。1.设置一个cur指向当前节点。
2024-04-05 16:43:56
203
原创 二叉树中的最大路径和——递归速解有感
然后我们思考，那这个路径是不是一定要有个根呢？求当前节点侧最大值时，先找到其左右节点的侧最大值，如果这个最值都小于0，那就没必要加子树了，直接返回当前节点值作为侧最大值即可，否则就返回当前节点值加上侧最值，并返回，在这个过程中，别忘了求以当前节点为根的最大路径值，这个是以当前跟节点值为基石，如果左右子树的侧最值大于0，就加上作为路径，求出这个值后，可以与当前Max比较置换，一次遍历即可求出最值！首先搞清楚“路径”的定义，即从一个节点出发，到达另一个节点，每个节点遍历一次即可遍历到所有节点。
2024-03-27 21:02:21
316
原创 递归速解——翻转等价二叉树
这再次体现了递归的强大，我们知道，二叉树问题除了广度遍历，树形dp，剩下的基本上都是递归解法。对于两个根节点，如果皆为空那肯定比较成功。如果都不为空，如果其值不等，那一定比较失败，如果相等，我们应该比较其子节点，这是因为可能出现翻转情况，我们进行两次比较，一次翻转，一次不翻转，有一个成功即为成功。这道题一看会很头疼，可翻转的节点数很多，根本没法比，可能性也太多啦！
2024-03-24 14:39:44
179
原创 二维数组的顺时针旋转
最关键的是要找到规律，即matrix[i][j]旋转之后要放到哪里，matrix[j][n-1-i]，找到这个即可分成4份遍历其中一份。
2024-03-24 13:36:53
124
原创 股票问题动态规划解法核心思路
4.对于含手续费的，不限制买卖次数，实际上和1解法相同，只有两个状态，但别忘了，每卖一次减去手续费。注意这里初始化第一天dp[0][1],也就是第一天不持有股票的初始值，应该是0，不需要减手续费，你闲的你当天买入卖出交一次手续费？后续就是找到每天的这几个状态与前一天的这几个状态的递推关系，初始化正确，从前向后遍历即可，最后取最后一天，或最后一天的最大值即可。3.对于含冷冻期的，实际上每天只有4个状态，即买入，卖出，冷冻期，可买入这4个状态。1.对于不限买卖次数的，我们可以每天记录2个状态，即买入、卖出。
2024-03-20 20:48:41
117
原创 树形dp的入门
最为关键的是dp数组，每个节点只有两个状态，偷与不偷，我们可以用只有两个元素的一维dp数组来进行记录，而不是所有节点都需要记录，这是与普通dp不同之处。这也是关键之处，我们应该使用后序遍历来进行遍历，下层节点将状态传递到上层，上层根据下层传入的值进行处理，得到到达本层该节点时的状态，这样到了最上层跟节点，实际上已经考虑到了下层所有节点的状态。对于本题，具体而言就是如果偷当前节点，那左右必须取不偷，如果不偷当前节点，则可偷但不一定偷左右节点，这是我们应该取偷与不偷的最大值！这就是具体在每层进行递推的逻辑。
2024-03-19 20:32:59
130
原创 最长递增子序列——动态规划题解思路分享
既然我们的关键是想知道的最长递增子序列是要以序号i-1为结尾，那不妨我们就直接设dp[i]为以i为结尾的最长递增子序列就好了！我们需要从序号0遍历到i-1，如果nums[i] > nums[j],我们就比较dp[i]和dp[j]+1的关系，如果dp[j]+1更大，那我们就更新dp[i]，这样最后找到的就是最大的dp[i]。最后一个注意点，最大值一定是dp[n-1]吗，这时我们就思考dp[i]的含义，显然dp[i]是以序号i为结尾的最长递增子序列，所以我们需要从0遍历到n-1，取出最大的dp[i]!
2024-03-14 20:05:02
280
原创 双重检查锁实现懒汉式单例模式——一篇通透
那volatile是干啥的呢？其实是为了保证变量在线程间的可见性和有序性，可见性就是说，不要再线程的本地存储空间中去找，要找主存，去查看最新的数据！不加volatile的话这三个过程可能会颠倒为：开辟内存空间、将变量指向对应内存地址、初始化对象，这在单线程环境下是没问题的，但是多线程环境下，比如现在顺序是颠倒的顺序，执行到第二步时变量不为null，但是目前确实是一个未完全初始化的对象。首先，构造方法是私有的，这不用多说，然后我们开放一个公共的方法，这个方法是为了获取单例对象，为什么是static的呢？
2024-03-12 22:57:47
292
1
原创 两个线程交替输出对应的数字字母（wait/notify）
那么我们接下来就需要实现Runnable接口了，使用Lambda表达式，首先不考虑计数，我们可以先设为无限循环while（true），然后抢锁，抢到之后，如果发现flag不对，就调wait释放锁，此线程就阻塞在wait那里，直到下次它再被唤醒，才会进入下一轮循环继续抢对象锁。我来描述下过程吧，我们抢到对象锁之后进入for循环，如果标识位正确，我们输出并切换标识位，之后唤醒等待的线程抢锁，而本线程则由于标识位不符，调用wait方法进入wait状态并释放锁，那另一个线程就一定可以抢到锁啦！
2024-03-11 23:59:17
750
原创 多线程交替输出abc100次（wait/notify）
那么我们接下来就需要实现Runnable接口了，使用Lambda表达式，首先不考虑计数，我们可以先设为无限循环while（true），然后抢锁，抢到之后，如果发现flag不对，就调wait释放锁，此线程就阻塞在wait那里，直到下次它再被唤醒，才会进入下一轮循环继续抢对象锁。设为while（true）是因为循环是不断重试的，有可能抢到锁但本轮并不应该是它输出，所以用了无限循环，这样也会一直交替打印下去，那我们怎么控制器打印次数呢？为此我引入了计数器，打完c之后加一，最后计数器的值小于一个固定值即可！
2024-03-11 22:37:01
291
原创 Kafka的高性能设计原理
Kafka通过上述设计原理实现了高吞吐量的消息处理能力。这些设计共同作用，使得Kafka成为了处理大规模实时数据流的理想选择。Kafka的一个主要设计特点是将主题（Topics）分成多个分区（Partitions），每个分区可以分布在不同的服务器上。Kafka将消息存储为不可变的日志结构，这使得消息的追加操作非常高效。Kafka支持以批的形式处理消息，这意味着可以一次性处理多条消息。Kafka利用操作系统级别的零拷贝技术来提高数据传输的效率。Kafka通过副本机制保证数据的可靠性和高可用性。
2024-03-09 00:27:55
175
1
原创 RocketMQ的消息存储机制
RocketMQ是一款分布式消息中间件，它提供了高吞吐量、高可用性和可扩展性。为了保证消息的可靠性，RocketMQ采用了同步双写和异步刷盘的机制来存储消息。
2024-03-09 00:26:22
198
1
原创 RocketMQ与Kafka的异同及优势
RocketMQ是一个开源的分布式消息中间件，由阿里巴巴团队开发并捐赠给Apache基金会。它提供了低延迟、高性能、高可靠性和高可扩展性的消息和流处理服务。Kafka是一个开源的流处理平台，由LinkedIn开发并捐赠给Apache基金会。它主要用于构建实时数据管道和流应用程序，具有高吞吐量、可扩展性和容错性。
2024-03-09 00:25:49
537
1
原创 RPC调用和HTTP调用的异同及优势
是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，以进行通信。是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网数据通信的基础。
2024-03-09 00:24:53
524
2
原创 period7-使用 Protobuf 通信
目前的最后一个迭代周期的目标就是使用传输前使用Protobuf 通信。使用protobuf 编码，接收方再进行解码，可以显著地降低二进制传输的大小。另外一方面，protobuf 可非常适合传输结构化数据，便于通信字段的扩展。好了，wind- cache目前的七个迭代阶段到此结束，后续会再考虑对项目进行重构引入更多的功能点，希望大家继续提出宝贵的建议吧！不难看出，引入protobuf后的变化就是响应前进行编码，拿到响应后进行解码，编码后再进行响应提高了响应效率。
2024-03-04 02:13:46
119
原创 Period6-防止缓存穿透与击穿
在上一个迭代周期中，我们发现了一个问题：同时大量请求请求同一个key，那会同一时间会发生多次网络调用，对于性能有较大影响。对于同时大量请求请求同一个key这种情况，我们应该只调用一次。这个过程中主要出现在本地没有查询到结果后的load与loadLocally这个过程中。为此，我们对调用逻辑进行封装，使用singleflight结构对这一过程进行支持。
2024-03-03 15:28:53
91
原创 Period5-分布式节点
解释下这个新的结构，一致性哈希的整体结构以及各个节点应该提前注册到HTTPPool上，HTTPPool同时兼作为peerpicker的实现类，注册到各group上。查询缓存大致过程基本如下：在本地查不到之后，先尝试从其他节点获取，因为HTTPPool注册到了group上，作为peerpicker接口的实现类，我们可以使用HTTPool的pickpeergetter方法选择到哈希环上对应的节点，并找到访问的peergetter，使用group名字和key查询缓存的value。
2024-03-01 01:53:56
159
1
原创 Period4-一致性哈希选择分布式缓存对应机器
不难看出，少了一台机器之后，如果key对应的hash值是3，4，5的话，查询的机器都会改变，那肯定会调用耗时的降级方法再次加载，所以直接取hash值是不可行的。对于同一个Key，我们肯定想将其打到同一台机器上。对于分布式缓存来说，当一个节点接收到请求，如果该节点并没有存储缓存值，那么它面临的难题是，从谁那获取数据？
2024-02-29 13:13:33
105
原创 Period3-实现http server
我们对URL格式作出规定，除了最基本的ip地址和端口号以外，还需要拼接三个部分，第一部分basepath是一个标识，使用一个固定值“_windcache”，剩下两个部分需要拼接group name和key，先查到组，在group中根据key取出缓存内容。
2024-02-28 12:39:34
123
原创 Period-2-实现单机并发缓存
另设置降级方法，如果缓存中没有值，应该调用什么方法查询，由使用者传入。比如降级查询MySQL数据库中的一张表，我们恰好可以将缓存的Group与此table对应。第二个迭代周期的目标是保证缓存的并发安全，并封装出核心结构Group，Group可以理解为MySQL中的table。
2024-02-25 20:59:12
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人