Alex

我有两个GPT2的模型，只有1亿参数，并以16位浮点数存储，也就是250MB左右，有35亿参数，同样以16位浮点数存储，也就是7GB左右。我以为推理的时候加载模型到显存中后占用的空间应该也是差不多的大小，但是1亿参数的模型加载到TorchServe中后却占用了957MB，不知道为什么多出来700多MB。

昨天晚上跑的好好的训练脚本，今天早晨突然就开始报错了。主要是在Jupyter Notebook上跑的时候报错，但是直接打开Python Console跑是可以的。果然CUDA Version变成了12.0，我记得之前是11.7，所以降级就可以了。（我也想升级，但是当前时间点PyTorch暂时还不支持12.0）然后突然想起来，昨天晚上更新了CUDA驱动，主要是NVIDIA GeForce Experience推荐我更新的，没在意就直接点了。更新完之后重启电脑就可以了，神奇。

模型训练完毕后，为了能够让前后端调用，都需要部署上线，提供一个可调用的Restful接口。最近正好在做一个中文文本生成的模型，效果还不错，打算上线，本来研究了半天的TensorFlow Serving，但是最后实在没搞定，太麻烦了，今天换了TorchServe，一天就搞定了，PyTorch yyds！！！本次演示用的模型为IDEA开源的 闻仲-GPT2-100M，这个是一个用于文本生成的模型，能够根据提供的句子进行续写。...

PyTorch安装的时候，无论pip还是conda安装都太慢了，都是安装官方文档去做的，就是超时装不上，无法开展下一步，卡脖子的感觉太不好受。这些小伙伴按照pytorch官档提示，选择好后：完整复制上面命令到cmd中，接下来界面提示，conda需要安装的包，选择y，继续安装，但是接下来发现进度条几乎一动不动。反复尝试，就是这样，有些无奈，还感叹怎么深度学习的路一开始就TMD的这么难！其实，最有效方法是添加镜像源，常见的清华源或中科大源。安装源命令：依次安装上面所有的源，并设置搜索时显示通道地址，执行下

今天突然间想起来好久之前遇到的一个问题，虽然忘了具体的问题场景是啥了，但是最终的解决方案就是把用th.tensor创建张量换成了用th.Tensor创建张量，今天再来探究一下tensor和Tensor有什么区别？。先看一下torch.tensor和torch.Tensor的官方文档。torch.Tensor首先torch.Tensor是一个类，是包含单一数据类型元素的多维矩阵。更明确地说，它是默认张量类型torch.FloatTensor()的别名。也就是说，torch.Tensor() 的作用.

torch.nn.functional.pad(input, pad, mode='constant', value=0)填充Tensor。填充大小：填充input的某些维度的填充大小从最后一个维度开始向前描述。⌊len(pad)2⌋\left \lfloor \frac{len(pad)}{2} \right \rfloor ⌊2len(pad)​⌋input的维度将被填充。例如，只填充输入张量的最后一个维度，那么pad的形式为：(padding_left, padding_right)；要填

torch.gather(input, dim, index, *, sparse_grad=False, out=None) → Tensor沿dim指定的轴聚集值。对于三维张量，输出由以下公式指定：out[i][j][k] = input[index[i][j][k]][j][k] # if dim == 0out[i][j][k] = input[i][index[i][j][k]][k] # if dim == 1out[i][j][k] = input[i][j][index[i]

from torchvision import transforms

所有的数据集都是torch.utils.data.Dataset的子类，即它们实现了__getitem__和__len__方法。因此，它们都可以传递给torch.utils.data.DataLoader通过torch.multiprocessing使用多线程并行加载多个样本。imagenet_data = torchvision.datasets.ImageNet('path/to/imagenet_root/')data_loader = torch.utils.data.DataLoader(i