- 博客(4)
- 收藏
- 关注
RSS订阅原创 结合图例，理解transformer推理加速技术之KV Cache
关于第五部分的内容，笔者看的transformer的代码并不多，也上网查过，按理说推理阶段是不需要mask的，因为transformer每次只出一个word，每次全进前面得到的word，这些word都已经是已知的了，这时候不需要mask，但是我看的代码训练和推理阶段对mask部分都没有额外处理，都是同一代码；不过这些都是代码实现问题，基于五的分析，即使对一般的transformer而言，用不用mask都不会对结果产生影响；基于四的分析，加入KV Cache后只有一行得分，是不能mask的。
2024-01-12 10:48:41
1003
1
原创 严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.tomcat.util.modeler.BaseModelMBean.invoke
解决IDEA启动web项目的报错：严重 [RMI TCP Connection(3)-127.0.0.1] org.apache.tomcat.util.modeler.BaseModelMBean.invoke 调用方法[manageApp]时发生异常今天在运行一个web项目时遇到报错：这个项目以前曾成功运行过，在另一台电脑上也能运行，偏偏这次报错了。找到的一个解决方案：修改web.xml配置文件。原文件：<!DOCTYPE web-app PUBLIC "-//Sun Microsy
2021-11-22 21:59:26
12048
原创 SRDP学习记录
SRDP学习记录——第二周本周内容，初步认识PyTorch和PyThon中的图像处理一、什么是PyTorch？PyTorch是一个python库，它主要提供了两个高级功能：GPU加速的张量计算；构建在反向自动求导系统上的深度神经网络。1. 定义数据一般定义数据使用torch.Tensor ， tensor的意思是张量，是数字各种形式的总称import torch# 可以是一个数x = torch.tensor(12138)print(x)tensor(12138)# 可以是一
2020-12-10 20:21:52
1731
原创 PyTorch基础练习
初识pytorchPyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序，是目前最火热的深度学习框架之一（此外还有Tensorflow、Apache SystemML等）。一、环境配置我使用的是谷歌的 Colab，它是一个 Jupyter 笔记本环境，已经默认安装好 pytorch，不需要进行任何设置就可以使用，并且完全在云端运行。使用方法可以参考 Rogan 的博客：https://www.cnblogs.com/lfri/p/10471852.html要访问
2020-12-03 00:49:02
638
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人