- 博客(3)
- 收藏
- 关注
原创 LRU和FIFO区别,为什么LRU不容易有Belady现象?
最近需要写一个项目有一个cache的功能,但是脑袋轴了想不到LRU和FIFO区别的样例,问了GPT和DeepSeek二者区别并给出示例,两个AI讲解是充分的,但是举的例子FIFO和LRU的缺页率都一样,只能自己琢一个备忘。
2025-04-15 02:36:49
129
原创 结合图例,理解transformer推理加速技术之KV Cache
关于第五部分的内容,笔者看的transformer的代码并不多,也上网查过,按理说推理阶段是不需要mask的,因为transformer每次只出一个word,每次全进前面得到的word,这些word都已经是已知的了,这时候不需要mask,但是我看的代码训练和推理阶段对mask部分都没有额外处理,都是同一代码;不过这些都是代码实现问题,基于五的分析,即使对一般的transformer而言,用不用mask都不会对结果产生影响;基于四的分析,加入KV Cache后只有一行得分,是不能mask的。
2024-01-12 10:48:41
1296
1
原创 严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.tomcat.util.modeler.BaseModelMBean.invoke
解决IDEA启动web项目的报错:严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.tomcat.util.modeler.BaseModelMBean.invoke 调用方法[manageApp]时发生异常今天在运行一个web项目时遇到报错:这个项目以前曾成功运行过,在另一台电脑上也能运行,偏偏这次报错了。找到的一个解决方案:修改web.xml配置文件。原文件:<!DOCTYPE web-app PUBLIC "-//Sun Microsy
2021-11-22 21:59:26
12312
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人