- 博客(1025)
- 资源 (2)
- 收藏
- 关注
原创 你买了 100 个核,程序为什么只快了 4 倍?
你买了100核,程序却只快4倍?罪魁祸首是1967年的Amdahl定律:程序中哪怕只有20%串行部分,加速比上限也仅5倍。多核收益受制于不可并行的“瓶颈”,且现实中的通信开销、负载不均和缓存争用更拉低实际性能。真正高效的做法是先分析串行占比($p$),优先优化瓶颈代码——如朋友通过精简初始化逻辑,未加核就提速两倍。别盲目堆核,算清 $p$ 才是省钱之道。
2026-11-18 08:40:15
284
原创 fork 一个 1GB 的进程,凭什么瞬间就返回,内存还不翻倍?
你在终端里跑一句,那进程吃了 1GB 内存。然后它fork()一个子进程——几乎是瞬间完成,系统也没有突然多出 1GB 来。可按照"父子进程拥有各自独立的内存"这个讲法,fork 不是应该把父进程的 1GB 整个复制一份给子进程吗?那不得耗时、不得爆内存?这套机制既省时间又省内存,是我觉得操作系统里少数几个"漂亮得有点赖皮"的设计。今天把它拆开。
2026-11-18 08:38:06
175
原创 为什么“最优解处,两个梯度必须平行“?
在约束优化中,最优解处目标函数与约束函数的梯度必须平行,这是因为若不平行,沿约束方向仍可改进目标值,未达极值。几何上表现为等高线与约束曲线相切,法线重合,即梯度共线:$\nabla f = \lambda \nabla g$。这正是拉格朗日乘子法的核心思想——将约束融入目标函数,通过引入乘子 $\lambda$ 实现无约束求解。推广至不等式约束时,KKT 条件进一步要求 $\mu \ge 0$ 与互补松弛 $\mu h(x) = 0$,确保仅边界上的约束起作用。该原理是 SVM 等机器学习算法的数学基石,深
2026-11-18 08:30:23
573
原创 分页治好了碎片,分段守住了逻辑,段页式凭什么两头都要?
段页式内存管理通过“先分段保逻辑边界,再分页解外部碎片”,在分页与分段的权衡中实现两全:既保留段级共享与保护,又消除外部碎片。其代价是增加一次查表开销,但可通过快表(TLB)弥补。设计的本质,是在“碎片”与“效率”、“逻辑”与“连续”之间寻找最优平衡——段页式正是以“多一次查表”换来了双重优势,体现了系统设计中代价与收益的精妙权衡。
2026-11-16 11:52:42
325
原创 索引明明用了,查询为什么还是慢半拍?——覆盖索引与回表
索引虽用,查询仍慢,主因是“回表”——二级索引仅含索引列与主键,需再查聚簇索引获取其他列,导致额外树查找与随机I/O。解决之道是使用覆盖索引:将查询所需列纳入联合索引(如(name, city)),使索引叶节点直接包含全部数据,避免回表。实践建议明确列出所需列,避免SELECT *,并权衡索引大小与写性能。理解“叶子节点存什么”,可贯通索引原理。
2026-11-16 11:49:31
428
原创 改一整个区间,凭什么不用逐个改?——线段树与懒标记
本文介绍线段树与懒标记如何高效处理区间修改与区间查询问题。面对百万级数据和数十万次操作,朴素方法复杂度高达 $O(n)$,而线段树通过 $O(\log n)$ 的区间更新与查询实现优化。核心在于“懒标记”:区间整体加值时,仅在覆盖节点记录账目,不立即下传;只有在访问子区间时才通过 pushdown 逐层传递,保证正确性同时维持 $O(\log n)$ 复杂度。相比树状数组,线段树更通用,支持多种聚合操作,是解决复杂区间问题的强力工具。
2026-11-16 11:47:29
368
原创 await 到底在等什么?把 asyncio 的事件循环摊开看
await 不是阻塞等待,而是主动让出CPU,将I/O操作交由事件循环管理。在异步编程中,程序99%时间处于等待状态,asyncio通过事件循环实现并发:任务遇到await即挂起,事件循环立即调度下一个任务,待I/O就绪再唤醒。一万个请求的总耗时仅约200毫秒,远低于同步方式的半小时。关键在于协程主动让出控制权,而非阻塞线程。但若在协程中调用同步阻塞函数(如requests.get()),会卡死整个事件循环。因此,asyncio仅适用于I/O密集型任务,对CPU密集型无效。
2026-11-16 11:32:47
203
原创 把知识全塞进 system prompt,AI Agent 凭什么越来越“笨“了?
将知识全塞进 system prompt 导致 AI Agent 陷入“信息过载”困境:上下文膨胀、延迟飙升、规则遗忘甚至冲突。本文指出,真正解法是采用“Skill”机制——以极简 metadata 触发、按需加载知识正文,实现知识的“渐进披露”。通过分层管理(目录+正文+示例)、单一职责与可验证设计,大幅降低计算成本,提升注意力聚焦与可维护性。技能非银弹,其成败关键在于人类能否将知识转化为清晰、精准、可执行的“操作手册”。
2026-11-14 10:04:14
289
原创 光纤再快,为什么“发一包等一个回执“还是慢得要死?
尽管光纤带宽高达1Gbps,但“发一包等一个回执”的停等协议因传播时延远大于传输时延,导致链路利用率极低——长距离下甚至不足0.002%。核心问题在于:等待确认的时间远超数据发送时间。解决之道是采用滑动窗口机制,通过增大发送窗口(至少等于带宽时延积)实现流水线传输,使链路“始终有数据在飞”,从而突破效率瓶颈。
2026-11-14 10:01:52
139
原创 12KB 内存,数清几亿个不重复的东西——HyperLogLog 的调和平均魔术
摘要(148字): HyperLogLog 用 12KB 内存估算数亿级不重复元素,核心是将哈希后末尾连续 0 的最大长度映射为基数估计。通过分桶 + 调和平均,有效降低离群值影响,误差仅约 0.81%。相比 HashSet 的线性内存消耗,其空间复杂度恒定,适用于大规模 UV 统计等容忍微小误差的场景。它揭示了工程中“以可控误差换极致省空间”的智慧,是概率数据结构的典范。
2026-11-14 09:59:51
276
原创 数据里缺了一块,参数还能估出来吗?——EM 算法怎么在“看不见标签“时求解
本文详解了在标签缺失情况下,用EM算法拟合高斯混合模型(GMM)的原理与实践。面对“无法直接求导”的$\log \sum$困境,EM通过引入隐变量后验(E步)构造证据下界,并迭代优化参数(M步),实现对男性与女性身高的无监督聚类。核心思想是:利用Jensen不等式构建可优化的下界,交替更新责任度与参数,确保似然单调上升。代码实操验证其有效性,同时指出初值敏感、收敛慢、成分塌缩等挑战。最终强调,EM不仅是GMM的解法,更是处理“不完全数据”最大似然问题的通用框架,体现了机器学习中“绕开硬骨头、从下界进攻”的深
2026-11-14 09:35:02
202
原创 一棵 $n$ 个节点的二叉树,凭什么有 $n+1$ 个指针是空的?
一棵 $n$ 个节点的二叉树有 $2n$ 个指针域,仅 $n-1$ 个被用于连接节点,故有 $n+1$ 个空指针。这些空指针本闲置,却可被利用为线索,指向中序前驱或后继,形成线索二叉树。此举使遍历无需栈,前驱/后继查找变为 $O(1)$,虽增加插入删除复杂度,但显著提升查询效率。此设计是“以空间换时间”的经典范例,也是408考试高频考点。
2026-11-13 09:08:15
224
原创 CPU 主频为什么 20 年都翻不过 5GHz 这道坎?
1998 年,奔腾 II 的主频是 300MHz。2005 年,奔腾 4 冲到了 3.8GHz。七年,主频翻了十几倍。那时候的电脑广告词很简单——“主频更快,就是电脑更好”。买家盯着这个数字下单,卖家也盯着这个数字标价。然后,一切戛然而止。快 20 年过去了,今天你花大价钱买回来的 CPU,主频依然在 4~5GHz 附近打转。顶配的服务器芯片,睿频也就 5.7GHz 上下。这不是厂商偷懒。这是一条物理定律到期的结果。它叫。
2026-11-13 09:06:26
428
原创 那个让“惩罚“和“奖励“都变成错觉的统计幽灵
1886 年,英国统计学家弗朗西斯·高尔顿(Francis Galton)在测量了上千对父子身高后,发现了一件让他自己都有点意外的事。他原以为,高个子父亲生的儿子,身高应该也偏高——这没错。但具体高多少呢?反过来,特别矮的父亲,儿子也普遍没父亲那么矮。一句话:极端会往中间"缩"回去。高尔顿把这个现象起了个名字,叫——回归到均值。今天统计里那个"回归分析"的"回归",就是从这里来的。这听起来只是个人类学的小发现。但它其实是统计里最阴险、最容易被误读的现象之一。
2026-11-13 09:02:48
140
原创 五个哲学家、五把叉子,凭什么一顿饭就把系统吃“死“了?
五个哲学家共用五把叉子,每人需同时获取左右两把才能吃饭。因资源竞争引发死锁:四条件齐备——互斥、占有等待、不可剥夺、循环等待,导致全员僵持。解法包括限制人数、按序取叉、奇偶策略及Chandy–Misra分布式协议,各有权衡。核心启示:并发系统中,死锁非偶然,而是资源分配与同步机制的必然产物;最优解需在安全性、公平性与开销间权衡。
2026-11-12 08:50:42
292
原创 两个神经网络互相“骗“,凭什么骗出了一个会作画的模型?——GAN 论文精读
2014 年的某个晚上,Ian Goodfellow 在酒吧里跟同事争论"怎么让机器生成逼真的图片"。。造假的拼命把假钞做得更像真的,警察拼命学着分辨真伪。只要这个博弈一直进行下去,造假者的手艺就会被迫逼近"以假乱真"。这个念头后来长成了那篇论文《Generative Adversarial Nets》,也长成了这十年里最"带劲"的一类生成模型——。它跟之前所有生成模型的路子都不一样:别的模型是"死记硬背一个分布",GAN 是。
2026-11-12 08:49:08
148
原创 去噪要走 1000 步,凭什么一个“确定性“的小改动,就砍到了 50 步?
扩散模型采样慢,源于1000步的随机去噪过程。DDIM突破性地提出:去除反向过程的随机性,转为确定性映射,使每一步可预测、可跳步。只需50步甚至20步,即可生成与1000步相当的图像,速度提升一个数量级。同时,确定性轨迹支持高质量隐空间插值,助力风格迁移与连续编辑。本质是将“随机”从采样中剥离,用“隐式”建模替代显式马尔可夫链——快与好的权衡,终由设计决定。
2026-11-12 08:47:55
335
原创 两次 save() 之间,数据库到底“看到“了什么?——Django 事务边界与 atomic
Django 默认 save() 即时提交(autocommit),导致多步操作无法回滚。转账等场景需用 transaction.atomic() 将操作包裹成原子事务,确保“全成功或全失败”。嵌套 atomic 可实现局部回滚,select_for_update() 用于行级锁防并发问题,而信号应在 on_commit() 中触发以保证提交后执行。核心:事务边界由 atomic 定义,数据一致性依赖显式控制。
2026-11-12 08:44:32
81
原创 为什么拨号上网最快也就 56kbps,卡在了一道数学墙上?
拨号上网速率被卡在56kbps,根源在于物理层的两大定理:奈奎斯特定理限制无噪声信道下码元速率上限($2B$),香农定理则在有噪声条件下给出数据率极限($C = B\log_2(1 + S/N)$)。电话线带宽约3100Hz,信噪比30dB时,香农极限约为30.9kbps,实际33.6kbps已逼近上限。56kbps源于下行数字直连,绕过模拟噪声,但上行仍受限于物理条件。最终,最大速率取奈奎斯特与香农计算值中的较小者——这不仅是技术瓶颈,更是数学定律的必然结果。
2026-11-11 08:35:10
419
原创 改一个数就要把前缀和全重算一遍?——lowbit 那三行代码,凭什么 O(log n) 就搞定
树状数组通过 lowbit(x) = x & (-x) 实现高效区间操作:单点更新与区间查询均在 $O(\log n)$ 完成。其核心思想是每个节点维护以该下标结尾、长度为 lowbit(i) 的区间和,利用二进制位跳转实现不重不漏的前缀和累加。相比前缀和需 $O(n)$ 重算或暴力查询 $O(n)$,树状数组以极简代码(三行核心)达成双 $O(\log n)$,适用于可逆运算如求和;而线段树更通用但常数大。掌握其原理有助于深入理解补码与前缀和等408考点。
2026-11-11 08:33:51
257
原创 PCA 把数据压扁之前,先请了一台隐形的机器——奇异值分解的三段式
任意m×nm \times nm×n实矩阵AAAAUΣVTAUΣVTUUU是m×mm \times mm×m的正交矩阵,列是左奇异向量;VVV是n×nn \times nn×n的正交矩阵,列是右奇异向量;Σ\SigmaΣ是m×nm \times nm×n的对角矩阵,对角线上是奇异值σ1≥σ2≥⋯≥σr0σ1≥σ2≥⋯≥σr0,其余位置全是 0。
2026-11-11 08:28:41
297
原创 多吐一个 token,显存凭什么多占半兆?——把 KV Cache 的账摊开算
生成长文本时,显存暴涨的元凶是KV Cache——每多一个token,显存便增加约512KB(以LLaMA-2-7B为例)。因其需缓存所有历史token的K/V向量,总显存与序列长度线性相关。虽可借MQA、GQA、量化、分页等技术大幅压缩,但若不提前计算,极易在长上下文场景中遭遇OOM。真正吃显存的,从来不是模型权重,而是这“一砖一瓦”堆起的缓存账本。
2026-11-11 08:27:28
185
原创 内存明明更多了,缺页反而更勤了?——页面置换算法的“后悔“与 Belady 异常
内存增加本应降低缺页率,但FIFO页面置换算法却可能引发Belady异常——页框增多反而导致缺页次数上升。这是因为FIFO不考虑页面未来使用情况,仅按进入顺序淘汰,导致最优置换被破坏。相比之下,LRU和OPT等栈型算法具有单调性,不会出现此异常。实际系统中,CLOCK算法通过访问位近似实现LRU,兼顾性能与开销。关键启示:算法选择比单纯加内存更重要。
2026-11-10 10:27:46
141
原创 KMP 凭什么不回头?next 数组里那套“自己匹配自己“的账
KMP算法通过next数组实现失配时不回溯主串指针,核心在于利用模式串自身前缀与后缀的重叠信息。next[i]表示P[0..i]的最长真前后缀长度,失配时模式串滑至π[j-1]位置继续匹配,避免重复比较。该机制使整体复杂度从暴力匹配的O(m·n)优化至O(m+n),其高效源于“自己匹配自己”的内在规律。
2026-11-10 10:22:02
111
原创 一棵树凭什么会做判断?——从信息熵到基尼系数,决策树“怎么挑问题“的数学
玩过"二十个问题"吗?心里想一个东西,对方通过一连串"是/否"问题把它猜出来。会玩的人从不问"是不是苹果",而是先问"是活物吗"——。决策树干的就是这件事。它把一堆样本,用一连串"问什么、按什么切"的分支,递归地拆成越来越纯的叶子。它不像神经网络那样有一堆神秘参数,它就是把"怎么提问"这个决策,用一套数学标准算了出来。答案藏在"熵"和"基尼系数"这两个词里。
2026-11-10 10:11:29
331
原创 数据库索引为什么偏爱“又矮又胖“的 B+ 树?——用磁盘的代价重新算一遍树高
数据库索引偏爱B+树,核心在于降低磁盘I/O次数。相比二叉树每层仅2个分支导致树高达20层(100万数据需20次I/O),B+树通过高扇出(单节点可存上千索引项)将树高压缩至3层,仅需3次I/O。其“又矮又胖”特性源于磁盘按页读写(如16KB),充分利用一页空间。此外,B+树所有数据集中于叶子且有序链表连接,极大优化了范围查询性能。相较之下,B树内部节点存数据,扇出更小;而红黑树等内存结构忽略磁盘代价,不适用于数据库场景。最终,B+树以极低的I/O开销实现海量数据毫秒级查找,成为数据库索引的最优解。
2026-11-10 10:03:43
303
原创 内存凭什么每隔 64ms 就“失忆“一次?——DRAM 刷新、地址复用与存储器扩展
DRAM因电容漏电需每64ms刷新一次,以维持数据。其采用行刷新机制,通过地址复用节省引脚,利用位/字扩展构建大容量主存。刷新占用时间形成“死区”,影响有效带宽。核心逻辑:为降低成本与提升密度,牺牲持久性与访问效率,构成存储层次设计的基石。
2026-11-09 08:55:52
240
原创 你 64GB 的内存,为什么 free 里总被“缓存“吃掉一大半?——页缓存与脏页回写
64GB内存看似被“缓存”吃掉,实为Linux页缓存的正常运作。文件读写通过页缓存加速,脏页异步回写磁盘,提升性能并减少磁盘压力。free低≠内存不足,关键看available——它反映可分配内存。干净页可随时释放,脏页需控制比例以防溢出。write()成功不等于数据落盘,需fsync()确保持久性。理解缓存机制,才能避免误判内存泄漏。
2026-11-09 08:48:32
184
原创 只用一个 bit 就说“没见过“——布隆过滤器凭什么用几 MB 管住几亿个 URL
布隆过滤器以极低内存(几MB至几十MB)高效管理海量URL,核心原理是用多个哈希函数将元素映射到位数组,通过无假阴性特性确保“未见即真未见”,仅允许少量假阳性。其假阳性率可精确计算并控制,最优配置下每元素仅需约1.5字节,远优于哈希表的80GB+开销。虽不支持删除,但广泛应用于爬虫、数据库、缓存等场景,是“容忍小错、追求极致省空间”的典范。
2026-11-09 08:47:32
361
原创 一个 3000 字节的包,为什么到了隧道里只剩 1480?——IP 分片的三个字段与那道必考计算题
你大概率踩过这个坑:公司上了 VPN,浏览器、SSH 一切正常,偏偏传个大文件、开个视频会议就断。抓包一看,小包都能过去,大包一去不回。这不是网络"慢",是包被"卡"在了 MTU 上。更准确地说,是 IP 分片(fragmentation)这道工序出了问题。它是 408 网络层的高频考点,也是现实里最难排查的一类故障。
2026-11-07 09:43:00
317
原创 数据库写得太慢?不是磁盘的锅,是你在“随机写“——LSM-Tree 用写放大换写吞吐的账本
数据库写入慢,根源常在“随机写”——磁盘的物理特性决定了顺序写远快于随机写。关系型数据库依赖B+树索引,写入时频繁随机I/O,性能受限。而LSM-Tree(如RocksDB、Cassandra)采用“写内存+顺序刷盘”策略,将随机写转化为高效顺序写,大幅提升写吞吐。代价是读放大与写放大:通过布隆过滤器加速查找,用合并(compaction)优化读性能。根据需求选择Tiered或Leveled策略,权衡读、写、空间放大。理解LSM,不仅是掌握一种存储引擎,更是洞察现代数据系统“以写换吞吐”的核心哲学。
2026-11-07 09:41:55
231
原创 import 之后到底发生了什么?Python 翻了哪些抽屉才找到那个模块
import 不仅是加载文件,而是经历查缓存(sys.modules)、按 sys.path 查找、通过 Finder/Loader 定位与加载、编译字节码并缓存(__pycache__)的完整流程。模块对象在执行前即被放入 sys.modules,导致循环导入时访问“半初始化”模块,引发 partially initialized module 错误;而代码修改无效,常因缓存未刷新或 .pyc 时间戳错乱所致。理解此链路,可彻底破解 import 常见陷阱。
2026-11-07 09:34:36
572
原创 误差不会自己往回走——反向传播的本质,是把链式法则在计算图上重排一遍
反向传播的本质是链式法则在计算图上的逆序执行。前向传播计算输出,反向传播则从损失出发,逐层传递梯度,利用局部梯度与上游梯度相乘,高效求出每个权重的偏导。相比逐个计算梯度的低效方法,反向传播仅需一次遍历即可完成所有参数更新,复杂度与参数量同阶。其核心在于“局部梯度+梯度回传”,揭示了误差如何被精确分配到各权重。该机制不仅解释了学习过程,也揭示了梯度消失等现象的数学根源。数值校验可验证实现正确性。虽非408考点,但其依赖的链式法则、矩阵微分等数学基础,正是理解深度学习的关键。
2026-11-07 09:32:12
775
原创 save() 一执行,谁在背后偷偷把数据改了?Django 信号是同步函数,不是消息队列
Django信号是同步执行的观察者机制,事件触发后立即顺序调用接收函数,而非异步消息队列。常见陷阱包括:post_save中再save导致无限递归、慢操作拖垮请求、事务未提交时数据不可见,以及重复注册引发逻辑执行两次。应仅在跨应用解耦场景使用,避免在同一个应用内滥用,确保逻辑清晰可追踪。
2026-11-07 09:29:29
356
原创 让计算机“能编程“的那个设计,怎么成了它最大的瓶颈?——冯·诺依曼架构的代价
冯·诺依曼架构的“存储程序”设计让计算机实现可编程,却也埋下“内存墙”隐患:CPU与内存间带宽窄、延迟高,导致计算效率受限。尽管缓存、流水线、GPU等技术不断“绕行”,本质仍是应对这一先天瓶颈。它既是灵活性之源,也是性能枷锁,深刻影响了现代计算机体系结构的发展。
2026-11-06 08:37:28
268
原创 中间层“洗把脸“,训练速度翻几倍——BatchNorm 论文里被争论十年的解释
BatchNorm通过归一化每层输出分布,显著加速深度网络训练,使大学习率、鲁棒初始化成为可能。尽管其初衷“减少内部协变量偏移”被后续研究质疑,但实证表明其核心作用在于平滑损失曲面,提升优化效率。同时,γ、β参数保留表达能力,训练/推理使用不同统计量的设计也带来实践陷阱。虽有小批量依赖、序列不适配等局限,但为残差网络等深层架构奠定基础,是深度学习里程碑技术。
2026-11-06 08:35:27
187
原创 XGBoost 凭什么霸榜 Kaggle 好几年?——二阶导、正则化与缺失值的三板斧
XGBoost 霸榜 Kaggle 的核心在于将梯度提升转化为可精确求解的优化问题:通过二阶泰勒展开引入一阶与二阶导数,实现更精准的步长控制;结合正则化项($\gamma T + \frac{1}{2}\lambda \sum w_j^2$)防止过拟合;利用解析解快速评估树结构,实现高效贪心分裂。同时支持缺失值自动处理、并行计算与任意可导损失函数,兼具精度、效率与鲁棒性。其数学严谨性与工程优化,使其在结构化数据领域长期领先。
2026-11-06 08:33:22
185
计算机考研408临阵磨枪操作手册
2026-10-29
【生物医学工程】基于深度学习的视网膜图像分析系统:用于无症状脑梗死检测与卒中风险预测的临床应用研究
2025-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅