- 博客(30)
- 收藏
- 关注
RSS订阅
原创 使用HyperLogLog统计网站uv
网站的UV（Unique Visitor）是指独立访客的数量，用于衡量网站的访问量和流量。在网站统计中，通常使用UV来度量网站的独立访客数量。：通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时，服务器会在其浏览器中生成一个唯一的标识符（通常是一个Cookie），用于标识该访客。随后，如果同一访客再次访问网站，服务器会识别出该标识符，并将其计算为一个UV。在这种方式下，如果访客在不同的浏览器或设备上访问网站，可能会被计算为多个UV。：通过访客的IP地址来标识和追踪访客。
2024-01-25 17:11:34
1580
原创 并发场景下 缓存击穿 穿透 雪崩如何解决
在实际的工作中，redis作为缓存使用，降低DB的压力，应用比较广泛。老生常谈的话题，什么是缓存击穿、缓存穿透、缓存雪崩，遇到了应该怎么去解决？我想说的是，大部分人其实都不会遇到这个问题，为什么呢？不管你做C端，还是B端，流量不到一定程度，根本不会遇到。你想想是不是，或者你真遇到过吗？我目前为止，也就遇到过，缓存穿透，那还是有人恶心访问导致的。但是这些概念，以及解决的方案，还是需要去了解下，为什么呢？面试的时候，90%的会被问。最主要是深入了解下，提升自己。
2024-04-19 16:52:37
594
原创 数据库与缓存一致性如何保证
在工作中，大多数的系统都在使用缓存，那你有没有想过为什么要使用缓存？使用缓存后，数据与缓存的一致性如何保证？带着上面的问题，我们一起探索。我们刚开始做一个项目的时候，刚起步，流量很小，直接读写数据库即可，性能不错，系统稳定，架构如下图：随时时间推移，系统运行一段时间，老板说，要推广我们的系统，给用户赋能，接着搞一波营销，流量激增，结果系统报警了，系统都快挂了，赶紧排查，发现性能瓶颈在数据库。这好办，给服务器加上 Redis，让其作为数据库的缓存。
2024-03-27 11:09:20
998
原创 阿里二面，redis宕机了，如何快速恢复数据
Rdb、Aof两种持久化机制各有优缺点，需要根据自己的实际业务来衡量，到底使用哪种机制，最能满足当下业务，我的建议数据不能丢失时，内存快照和 AOF 的混合使用是一个很好的选择；如果允许分钟级别的数据丢失，可以只使用 RDB；如果只用 AOF，优先使用 everysec 的配置选项，因为它在可靠性和性能之间取了一个平衡。
2024-03-05 16:29:41
1327
原创 如何通过ip查询用户的归属地
最近公司做了一些营销活动，投入资金进行了流量推广，pv、UV都做了统计。老板说，我要看下用户的区域分布的数据。以前的文章我讲过，pv、UV如何统计？我们是基于ip进行统计的。用的ip能获取到，那通过ip查询归属地就ok了。
2024-03-01 15:37:31
1313
原创 基于redis实现的轻量级延迟队列- lmstfy
延迟队列（Delay Queue）是一种存储消息并在特定延迟时间后将其投递到消费者的队列机制。在传统消息队列中，消息会立即被推送给消费者进行处理，但在某些场景下，我们希望消息在一段时间后再被消费者处理。
2024-02-27 09:18:35
921
原创 同一个包下 golang run时报undefined
今天在运行一个项目，一个包下有两个文件，分别是main.go和route，main函数在main.go文件中，main引用了route.go中的两个函数，SetupRoutes和SetupAdminRoutesgo build 编译后，直接运行，为任何问题，但是 go run 出现问题了提示：查看route.go文件 是否有这两个函数？发现 这个两个函数也是真实存在的。
2024-02-23 15:07:16
388
原创 怎么理解 Redis 事务
事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。总结说：redis事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令。redis是支持事务的，开启事务后，命令入队，命令的语法如果有错，执行事务会中止，如果执行命令的时候发现命令有问题，其他命令能正常执行，事务是不会回滚的，因为redis的回滚会对redis的简单性和性能造成严重影响。
2024-02-06 15:14:37
1284
原创 Redis的bitmap使用不当，我内存爆了
目前的全球因特网所采用的协议族是TCP/IP协议族。IP是TCP/IP协议族中网络层的协议，是TCP/IP协议族的核心协议。IP协议定义了一种地址编码，称为IP地址，它是网络中网络段、网络设备接口、主机的编码，它并不是一种物理地址，而是逻辑地址，即地址是可以被分配、并且非固定、可修改的。IPv4，是互联网协议（Internet Protocol，IP）的第四版，也是第一个被广泛使用，构成现今互联网技术的基石的协议。
2024-02-01 09:34:31
1747
原创 Redis 管道技术——Pipeline
Redis 流水线是一种通过一次发出多个命令而无需等待每个命令的响应来提高性能的技术,通过批处理 Redis 命令来优化往返时间。
2024-01-30 17:30:11
2093
10
原创 Idea设置代理后无法clone git项目
对于我们程序员来说，经常上github找项目、找资料是必不可少的，但是一些原因，我们访问的时候速度特别的慢，需要有个代理，才能正常的访问。今天碰到个问题，使用idea工具 clone项目，速度特别的慢，经常失败，配置idea代理：配置好以后，check connection github 提示成功使用idea 去clone项目 还是失败，提示连不上，代理都配置了，为什么还连接不上呢？git还是通过默认的方式去访问github的服务，所以需要让git访问本地的代理服务。
2024-01-29 10:48:47
985
原创 如何统计百万用户在线状态-bitmap
BitMap 原本的含义是用一个比特位来映射某个元素的状态。由于一个比特位只能表示 0 和 1 两种状态，所以 BitMap 能映射的状态有限，但是使用比特位的优势是能大量的节省内存空间。在 Redis 中，可以把 Bitmaps 想象成一个以比特位为单位的数组，数组的每个单元只能存储0和1，数组的下标在 Bitmaps 中叫做偏移量。位图不是实际的数据类型，而是在 String 类型上定义的一组面向位的操作，将其视为位向量。由于字符串是二进制安全 blob，其最大长度为512 MB。
2024-01-24 13:51:48
1038
原创 如何实现查找附近的人-GEO
打开美团，可以通过自身定位查看附近的商品。打开社交软件，可以查看附近的人交友。打开滴滴，可以查看的附近的共享单车，那这些是如何实现？
2024-01-19 16:45:46
988
原创 面试官问：说一说redis过期删除策略与内存淘汰策略
内存淘汰策略：Redis 的运行内存已经超过 Redis 设置的最大内存之后，则会使用内存淘汰策略删除符合条件的 key,释放出空间，为后续新增的数据使用过期删除策略：key的过期时间到了，就要删除，释放空间。
2024-01-09 17:28:26
1029
原创 redis 删除数据，内存为什么不释放
redis，在迁移过程中，明明做了数据删除，删除的数据量已是好几个G，但我使用 top 命令查看redis进程时，发现 Redis 还是占用了很多内存，有点懵，怀疑是不是删除失败了。连上redis，查看删除的key是否存在，一查的确删除的数据已经不在redis里面的，那是为什么呢？查询了下官方文档，当数据删除后，Redis 释放的内存空间会由内存分配器管理，并不会立即返回给操作系统。所以，操作系统仍然会记录着给 Redis 分配了大量内存。Redis 释放的内存空间可能并不是连续的，就会产生。
2024-01-08 13:38:14
1172
原创 oh no！mysql数据丢失了
msyql 使用AUTO_INCREMENT 作为自增主键，为什么会出现连续的原因，以及什么场景下会出现次情况
2024-01-04 17:57:18
1327
原创 头回见！redis业务数据的迁移
解析 Redis dump.rdb 文件、分析内存并将数据导出为 JSON 格式.redis数据的分析，使用redis-rdb-tools数据的迁移前，需要对业务进行分析，制定方案，以免脱离实际，造成线上事故2023年最后一天班，再见2024，祝大家：2024发发发。
2023-12-29 18:03:05
831
原创 一文搞定短链设计
短链接是一种将长URL地址转换为较短、易于记忆和分享的链接的技术。它通过使用特定的算法或服务将长链接压缩成更短的形式，以便在限制字符长度或需要更简洁的场景下使用。原始网址：https://juejin.cn/post/7311894381392232499短网址：http://kb.cn/dFz1S。
2023-12-25 10:51:56
912
原创 人为制造redis的热key、大key引发的线上事故
如何应对reids的大key、热key ，大key、热key如何定义，产生的原因，遇到问题我们应该如何分析，如何去解决
2023-12-13 15:46:22
812
原创 2023闲聊开猿节流 降本增笑
公司发展到一定阶段，肯定会遇到瓶颈期，如果过不去，开源节流，降本增效，势在必行，公司也要活下去啊，如果公司不在了，全部一起手拉手走，还能怎么办？只是在执行的过程中，人为因素太大了，有能力的可能走了，写ppt、嘴活好的留下了，结果公司的线上服务宕机了，阿里、滴滴宕机事故损失的，比起裁员省的那点钱，简直没可比对性。雪崩的时候，没有一片雪花是无辜的。
2023-12-11 15:00:11
1152
原创 Excel百万数据导出&导入，你润了？
导入导出，经量异步处理数据库，分页的优化，一定要easyexcel的写入，不支持多线程，读是支持的参考文章基于EasyExcel实现百万级别数据导出。
2023-12-08 10:11:18
1050
原创 redis内存，还能这样分析
上面展示了工作的三种用法，推荐web页面展示这种方法使用，比较清晰，看起来也方便。通过这种工具，我们就能分析redis的使用情况，以及对不合理的使用，进行优化，减少内存的使用，释放更多的资源。
2023-12-01 15:45:08
371
原创 mysql慢查询可视化分析
张总：小王，我们系统上线一段时间了，但是最近系统响应有点慢，同时系统系统访问量并不高，但mysql的cpu、内存资源一直在持续上涨，你去分析下慢sql，找出消耗资源的，进行优化，提升系统的性能小王：好的，我去看下，有结果了，给你反馈。
2023-11-30 09:32:31
982
原创 Rabbitmq消息大量堆积,我慌了！
记得有次公司搞促销活动，流量增加，但是系统一直很平稳（），大家很开心的去聚餐，谈笑风声，气氛融洽，突然电话响起…运维：小李，你们系统使用的rabbitmq的消息大量堆积，导致服务器cpu飙升，赶紧回来看看，服务器要顶不住了小李：好的。
2023-11-29 14:34:21
1150
原创 redis可视化内存分析
上面展示了工作的三种用法，推荐web页面展示这种方法使用，比较清晰，看起来也方便。通过这种工具，我们就能分析redis的使用情况，以及对不合理的使用，进行优化，减少内存的使用，释放更多的资源。
2023-11-20 15:27:06
66
原创 开箱即用-人脸检测识别Ai
上一篇文章，，简单实现了人脸的检测识别，但是那只能作为一个demo玩玩，我们的目标是要有向外提供服务的能力，有向外提供服务的能力，才能落地，赋能业务。那我们应该怎么实现呢？
2023-11-13 18:02:42
82
1
原创 如何简单实现人脸检测识别
insightFace 是一个开源的 2D 和 3D 深度人脸分析工具箱，主要基于 PyTorch 和 MXNet。详情查看网站。InsightFace 有效地实现了丰富多样的人脸识别、人脸检测和人脸对齐的最新算法，并对训练和部署进行了优化。
2023-11-09 14:59:22
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人