- 博客(141)
- 收藏
- 关注
RSS订阅原创 认证中心: 基于OAuth2协议实现三方登录
其中client_id=YOUR_CLIENT_ID&client_secret=YOUR_CLIENT_SECRET可以使用basic方式加入header中，返回值。
2024-07-26 21:21:45
306
原创 认证中心：基于cookie和session实现单点登陆
当用户退出系统，需要做的是销毁局部会话以及cookie,重定向到认证中心的退出接口，认证中心从会话中获取令牌，销毁全局会话，清除redis中该token的用户信息，调用缓存中系统的退出接口，清除每个客户端的局部会话，接着跳转登录页面。系统2使用该令牌创建与用户的局部会话，返回受保护资源用户登录成功之后，会与sso认证中心及各个子系统建立会话，用户与sso认证中心建立的会话称为全局会话。用户访问系统1的受保护资源，系统1发现用户未登录，跳转至sso认证中心，并将自己的地址作为参数。不同域名之下（不同父域名）
2024-07-26 21:06:50
154
原创 秒杀业务: 简单梳理
（1）在一人一单优惠券秒杀中，先是解决了因线程安全导致的超卖问题，为了满足一人一单的业务需求需要给查询订单表查询库存表上锁，但是synchronized只能满足单机环境下线程安全，在分布式环境对多个JVM需要使用分布式锁，于是手写分布式锁,但是在极端情况下，例如业务超时，会出现“误删”问题，手写锁无法解决，于是引入redisson,借助看门狗机制可以有效解决这个问题。
2024-07-23 14:05:29
1564
原创 秒杀优化:Jmeter压测数据记录
stream只有在5.0之后才能用，这里贴上5.0版本。（影响因素太多，可能有MySQL缓存什么的，不一定准）平均响应时间100ms,吞吐量是295/sec。服务器内存不够，我直接用的windows版本。平均响应时间5ms,吞吐量311/sec。使用lua脚本+Stream改造之后，可以看到平均响应时间有明显的提高。参数: 1000个用户同时访问。
2024-07-23 11:00:41
632
原创 秒杀优化: 记录一次bug排查
然后在子线程中打了断点，然后再次启动，发现报出了一个空指针异常，定位到了是创建对象createVoucherOrder2当中Long userId = UserHolder.getUser().getId()中user居然是空，token也没失效。代码改造完成，使用Jmeter进行并发测试，发现redis中的数据和预期相同，库存减1，该用户也成功添加了进去，但是打开数据库的订单表，发现这条数据没有添加进去。队列中存在的订单对象中包含了userId，所以正确的做法应该是从订单对象里面取。
2024-07-22 20:49:16
511
原创 手写布隆过滤器:bitMap应用之缓存穿透问题的处理
哈希函数的数量越多，布隆过滤器中bit位置位的速度越快，这有助于提高过滤效率，但同时也会增加误报率。缓存穿透是指当缓存系统中无法命中需要的数据时，会直接请求底层存储系统（如数据库），但是如果请求的数据根本不存在，那么大量的请求就会直接穿透缓存层，直接访问底层存储系统，导致底层系统压力过大，甚至崩溃。总的来说，选择哈希函数个数和布隆过滤器长度时，应考虑到误报率、存储空间的消耗、过滤效率等多个因素，并根据实际应用的需求进行权衡和调整。继续对cloud进行散列hash后，3，4，6位被置为1。
2024-07-22 15:38:25
817
原创 全量数据同步:多线程性能优化
公司在做客服迁移迁移系统，下来的需求就是将公司的用户信息全量同步到那边的数据库，总数据量大概300w+，将无效数据过滤掉以及不需要进行同步的用户（手机号码不存在），剩下大概200w。开始采用的方案就是单线程分页查询，每批100条的数据量，定时任务写好放到测试环境里面跑了一下，预估大概每天能跑50w的数据量（两天反正很难完成任务）。另外就是核心线程数的设置，我在我自己机器上测，核心数是4，我设置线程数10速度是比较快的，和单线程相比较，大概能提升2.5倍，查询大概10分钟（仅仅是查询）。
2024-07-22 10:10:18
506
原创 测试数据生成:MySQL存储过程快速添加300w条数据
需要自己搞测试数据做测试，我测试总共用了不到两个小时，如果快的话，可能一个多小时就搞定了。表名和插入格式根据自己的稍微改动一下。
2024-07-22 09:23:06
153
原创 实际业务场景中大量if..else的优化:ApplicationContextAware的应用
如果操作的表不再改变这样，好像也不是不行，但是如果突然有其他表也需要做数据同步到BI库了，那么代码每次都需要改变，就会有大量的if…而这样的代码也不符合公司开发规范。在公司做一个Canal数据同步的时候，我们需要根据CanalEntry中传过来的表名，获取到相应的实例，然后调用相应的新增，更新删除数据的方法，如果能在spring初始化好Bean之后提前把表名和实例的映射放到map中，然后用到的时候直接get,就避免了大量if…比较直观的是通过if…当前的问题是如何根据表名获取到相应的实例呢？
2024-07-21 18:45:46
468
原创 [收件箱功能]如何使用Zset实现滚动分页？
假设在t1 时刻，我们去读取第一页，此时page = 1 ，size = 5 ，那么我们拿到的就是10~6 这几条记录，假设现在t2时候又发布了一条记录，此时t3 时刻，我们来读取第二页，读取第二页传入的参数是page=2 ，size=5 ，那么此时读取到的第二页实际上是从6 开始，然后是6~2 ，那么我们就读取到了重复的数据，所以feed流的分页，不能采用原始方案来做。2、我们需要找到与上一次查询相同的查询个数作为偏移量，下次查询时，跳过这些查询过的数据，拿到我们需要的数据。
2024-07-21 08:28:49
402
原创 [用户签到]如何使用BitMap实现签到功能？
我们只需要让得到的10进制数字和1做与运算就可以了，因为1只有遇见1 才是1，其他数字都是0 ，我们把签到结果和1进行与操作，每与一次，就把签到结果向右移动一位，依次内推，我们就能完成逐个遍历的效果了。假设今天是10号，那么我们就可以从当前月的第一天开始，获得到当前这一天的位数，是10号，那么就是10位，去拿这段时间的数据，就能拿到所有的数据了，那么这10天里边签到了多少次呢？用户一次签到，就是一条记录，假如有1000万用户，平均每人每年签到次数为10次，则这张表一年的数据量为 1亿条。
2024-07-20 21:06:16
1328
原创 [点赞排行榜]关于IN字段不按照顺序返回问题
无论因为何种问题，导致我们无法按照有规则的字段进行排序返回结果，只能通过in中顺序来返回的结果，我们只能使用自定义排序,MySQL中ORDER BY的field()函数，可以用来对SQL中查询结果集进行指定顺序排序。子句中指定的顺序不同的顺序返回。
2024-07-20 17:51:12
558
原创 分布式锁-redisson锁重试和WatchDog机制
接下来会有一个条件分支，因为lock方法有重载方法，一个是带参数，一个是不带参数，如果带带参数传入的值是-1，如果传入参数，则leaseTime是他本身，所以如果传入了参数，此时leaseTime!因为锁的失效时间是30s，当10s之后，此时这个timeTask 就触发了，他就去进行续约，把当前这把锁续约成30s，如果操作成功，那么此时就会递归调用自己，再重新设置一个timeTask()，于是再过10s后又再设置一个timerTask，完成不停的续约。TimerTask() {},参数2 ，参数3 )
2024-07-19 20:00:49
570
原创 Redis之五种数据类型
对⼀个内部表示成long型的string执行append, setbit, getrange这些命令，针对的仍然是string的值（即⼗进制表示的字符串），而不是针对内部表⽰的long型进⾏操作。因此，在这些命令的实现中，会把long型先转成字符串再进行相应的操作。String的内部存储结构⼀般是sds（Simple Dynamic String，可以动态扩展内存），但是如果⼀个String类型的value的值是数字，那么Redis内部会把它转成long类型来存储，从⽽减少内存的使用。
2024-07-18 08:26:28
935
原创 Redis数据结构-Dict
类似java的HashTable，底层是数组加链表来解决哈希冲突Dict包含两个哈希表，ht[0]平常用，ht[1]用来rehash当LoadFactor大于5或者LoadFactor大于1并且没有子进程任务时，Dict扩容当LoadFactor小于0.1时，Dict收缩扩容大小为第一个大于等于used + 1的2^n收缩大小为第一个大于等于used 的2^nDict采用渐进式rehash，每次访问Dict时执行一次rehash。
2024-07-18 08:12:11
681
原创 Redis数据结构-ZipList
ZipList中所有存储长度的数值均采用小端字节序，即低位字节在前，高位字节在后。如果前一节点的长度大于等于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据。如果前一节点的长度大于254字节，则采用5个字节来保存这个长度值，第一个字节为0xfe，后四个字节才是真实长度数据。encoding：编码属性，记录content的数据类型（字符串还是整数）以及长度，占用1个、2个或5个字节。previous_entry_length：前一节点的长度，占1个或5个字节。
2024-07-17 21:51:59
564
原创 Redis数据结构-SDS
（1）获取长度的时候需要运算(strlen函数的底层实现通常是通过遍历字符串，直到遇到空字符（null terminator，即 ‘\0’）为止来计算字符串的长度的。时间复杂度是O(n))相较于C中的字符串，（1）可以直接从len字段中直接得到他的长度 （2）可以动态扩容 （3）是二进制安全的，SDS并没有用’\0’作为结束符，而是看的len,即使中间出现了’\0’，也会继续往后找。在redis当中,key都是字符串类型,value要么是字符串要么是字符串的集合，所以字符串类型是redis中最常用的类型。
2024-07-17 19:28:07
403
原创 一条SQL查询语句是如何执行的？
以我们的查询语句为例，因为没索引，就从第一条记录开始遍历，如果发现c=10,就把他存在结果集里面，如果不是10，就接着往下依次判断，直到最后一条记录，最后把结果集返回给客户端。这个值就是在执行器每次调用引擎获取数据行的时候累加的。以上面这条SQL为例，一种方案是先到t1里面查c=10的，然后再去t2里面查，另一种方案是先到t2里面查d=20的再到t1里面查c=10的。Server层包含连接器，分析器，优化器，执行器等，这和数据库使用的是哪种存储引擎没关系，是跨存储引擎的，核心功能都包含在这一层了。
2024-07-10 21:02:50
299
原创 kafka.common.KafkaException: Socket server failed to bind to xx:9092
然后重新启动，检查进程是否存在ps -aux | grep kafka。修改config下的server.properties,添加。部署分布式集群的时候遇到的错误。
2024-07-10 08:50:15
438
原创 主线程结束子线程不再执行
起因是在做分布式锁的时候，我在单元测试里面创建了10个线程，然后启动。每个线程都会在run方法打印内容，但是测试结果居然什么都没输出。就很纳闷，然后推测可能是主线程执行完了子线程直接结束了，果不其然，在加上thread.join()得到了预期结果。thread.join()是当前线程，也就是main线程要等到thread线程执行完成才能继续往后执行。如果是写在main方法是不存在这个问题的，但是单测的确存在这个问题。
2024-07-07 23:43:46
292
3
原创 git生成密钥（免密）
当系统提示你“Enter a file in which to save the key”，直接按回车键接受默认位置。将生成的密钥放到github/gitee/gitlab，以后git push代码的时候不再需要每次都输入密码了。在提示你输入密码的时候，直接按回车键，生成没有密码的SSH密钥。参数后面跟的是你的邮箱地址，通常用于标识这个密钥。打开Git Bash。
2024-05-29 16:55:53
457
原创 Redis指令汇总（二）
第一行可以看到redis版本信息，后面还有操作系统（我这里用的是windows，所以是os:Windows），进程id,执行程序的位置，配置文件的位置。当 key 存在但没有设置剩余生存时间时，返回 -1。否则，以秒为单位，返回 key 的剩余生存时间。在 Redis 2.8 以前，当 key 不存在，或者 key 没有设置剩余生存时间时，命令都返回 -1。在本例中，我们移除了key的过期时间，使其永久有效（ttl返回-1代表这个key永久有效）7.randomkey随机返回key空间的一个key。
2024-05-19 10:37:29
169
原创 一条sql语句在mysql中是怎么执行的
连接器主要和身份认证和权限相关的功能相关，就好比一个级别很高的门卫一样。主要负责用户登录数据库，进行用户的身份认证，包括校验账户密码，权限等操作，如果用户账户密码已通过，连接器会到权限表中查询该用户的所有权限，之后在这个连接里的权限逻辑判断都是会依赖此时读取到的权限数据，也就是说，后续只要这个连接不断开，即时管理员修改了该用户的权限，该用户也是不受影响的。
2024-05-17 14:10:29
701
原创 BM11 链表相加(二)
例如：链表 1 为 9->3->7，链表 2 为 6->3，最后生成新的结果链表为 1->0->0->0。数据范围：0≤𝑛,𝑚≤10000000≤n,m≤1000000，链表任意值 0≤𝑣𝑎𝑙≤90≤val≤9。假设链表中每一个节点的值都在 0 - 9 之间，那么链表整体就可以代表一个整数。要求：空间复杂度 𝑂(𝑛)O(n)，时间复杂度 𝑂(𝑛)O(n)给定两个这种链表，请生成代表两个整数相加值的结果链表。输入：[9,3,7],[6,3]返回值：{1,0,0,0}输入：[0],[6,3]
2024-05-14 14:53:53
389
原创 BM10 两个链表的第一个公共结点
输入分为是3段，第一段是第一个链表的非公共部分，第二段是第二个链表的非公共部分，第三段是第一个链表和第二个链表的公共部分。后台会将这3个参数组装为两个链表，并将这两个链表对应的头节点传入到函数FindFirstCommonNode里面，用户得到的输入只有pHead1和pHead2。第一个参数{1,2,3}代表是第一个链表非公共部分，第二个参数{4,5}代表是第二个链表非公共部分，最后的{6,7}表示的是2个链表的公共部分。输入：{1,2,3},{4,5},{6,7}输入：{1},{2,3},{}
2024-05-14 14:21:39
459
原创 BM7 链表中环的入口结点（快慢指针模板题）
输入分为2段，第一段是入环前的链表部分，第二段是链表环的部分，后台会根据第二段是否为空将这两段组装成一个无环或者有环单链表。思路：建立在上一道基础上，如果已知成环，慢指针移动到链表头部，快慢指针以1的步长去移动，直到两者相遇，有环必相遇。数据范围： 𝑛≤10000n≤10000，1<=结点值<=100001<=结点值<=10000。给一个长度为n链表，若其中包含环，请找出该链表的环的入口结点，否则，返回null。可以看到环的入口结点的结点值为3，所以返回结点值为3的结点。
2024-05-12 22:20:34
326
原创 BM6 判断链表中是否有环（快慢指针模板题）
输入分为两部分，第一部分为链表，第二部分代表是否有环，然后将组成的head头结点传入到函数里面。-1代表无环，其它的数字代表有环，这些参数解释仅仅是为了方便读者自测调试。实际在编程时读入的是链表的头节点。数据范围：链表长度 0≤𝑛≤100000≤n≤10000，链表中任意节点的值满足 ∣𝑣𝑎𝑙∣<=100000∣val∣<=100000。可以看出环的入口结点为从头结点开始的第1个结点（注：头结点为第0个结点），所以输出true。要求：空间复杂度 𝑂(1)O(1)，时间复杂度 𝑂(𝑛)O(n)
2024-05-12 21:10:25
157
原创 BM5 合并k个已排序的链表
数据范围：节点总数 0≤𝑛≤50000≤n≤5000，每个节点的val满足 ∣𝑣𝑎𝑙∣<=1000∣val∣<=1000。需要借助BM4写的代码，看我上一篇博客。然后从左向右每两个链表之间一一合并，得到最终结果。合并 k 个升序的链表并将结果作为一个升序的链表返回其头节点。要求：时间复杂度 𝑂(𝑛𝑙𝑜𝑔𝑛)O(nlogn)
2024-05-12 20:39:31
180
原创 手写阻塞队列（Condition）
自己实现阻塞队列的话可以采用Object下的wait和notify方法，也可以使用Lock锁提供的Condition来实现，本文就是自己手撸的一个简单的阻塞队列，部分借鉴了JDK的源码ArrayBlockingQueue类。1.BlockingQueue接口。2.数组方式实现阻塞队列。
2024-05-12 12:05:46
742
原创 LCR 062. 实现 Trie (前缀树)
更具体地说，如果我们在前缀树中插入一个字符串 S，我们要从根节点开始。我们将根据 S[0]（S中的第一个字符），选择一个子节点或添加一个新的子节点。末端节点将是表示字符串 S 的节点。当我们在二叉搜索树中插入目标值时，在每个节点中，我们都需要根据 节点值 和 目标值 之间的关系，来确定目标值需要去往哪个子节点。同样地，当我们向前缀树中插入一个目标值时，我们也需要根据插入的 目标值 来决定我们的路径。每一个节点会有多个子节点，通往不同子节点的路径上有着不同的字符。子节点代表的字符串是由节点本身的。
2024-05-09 16:07:34
240
原创 Countdown控制线程同时开始执行
不是同时启动的，但是线程都会阻塞在latch.await这里，直到最后一层循环，latch.countdown所有的线程被唤醒开始执行。
2024-05-09 09:11:47
120
原创 Future计算某盘符文件夹数量
------------------------------------------手动分割线-------------------------------------------------任务没有执行完，会阻塞到get方法，只有执行完返回结果，才会解除阻塞往下执行。计算前20个文件夹中文件数量。
2024-05-08 23:40:19
208
空空如也
谷粒商城的单点登录问题
2024-07-26
spring为什么注解方式可以不写set方法，而xml方式却必须写？
2023-12-30
为什么axios发出请求之后页面会自动刷新呀
2023-09-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人