weixin_42953627的博客

torch.nn中的nn全称为neural network,意思是神经网络，是torch中构建神经网络的模块。在看过一些资料后，我对nn这个模块是这么理解的：这个模块的基础是nn.Module，是实现的层（layer）是一个特殊的类。都是由class Layer(nn.Module)定义，会自动提取可学习的参数。ps：functinal模块中的函数就是一个函数，没有可学习参数。因此，nn就是pytorch用来提供各类预定义好的模型层的库，有什么需要的模型层在这个库里面找就好了。

开个新坑。最近在准备面试的时候，突然被一个写神经网络的题给难住了，因此也意识到了我很长一段时间内忘了去巩固pytorch的，太过于依赖调包+google搜索文档（甚至现在开始依赖chatgpt）。虽然不关注代码细节，关注输入输出，然后cv+拼积木的做法在短期内可以搭建出合格的框架，但是这显然缺少更深入的理解。遂决定，要把pytorch的一些基本概念再复习复习。本坑的所有内容都来自于：Tensor的基本概念：tensor是很像numpy的一种矩阵存储方式，甚至在很多时候和numpy公用一个存储空间。

一句话总结提示技术

DDPM指的是Denoising diffusion probalistic models，一种生成式模型，提出的时候特别强调了可以超过GAN。DDPM的想法来源于这样一个过程：对一个图像反复添加某分布的噪音，那么该图像最终就是一个随机噪音图。那么能否自动学习一个倒置过程呢？

近年来，文本生成任务在PLMs+微调的加持下取得了显著进展。然而，在数据稀缺场景下对PLM进行微调依然是具有挑战的。因此，基于PLM开发一个通用且轻巧的模型是十分有必要的。本文将介绍一种基于prompt的迁移学习方法（PTG）。PTG通过从sorce prompt中学习特征，并迁移为target prompt的方法实现目标文本生成。实验表示PTG能够产出和微调不相上下的结果。在NLP中，文本生成是一项重要的研究任务。其目的在于从源数据中自动生成人类可读的文本。

论文阅读笔记：自训练方法在生成任务中带给我们的启示

Prefix-tunning实践bug记录，关于past-key-value

论文阅读笔记：预训练语言模型做文本生成