zik的博客

然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。在右边的等式中的字母f(Q11)、f(Q12)、f(Q21)、f(Q22)、x1、x2、x都是已知的，求出的f(x,y1)与f(x,y2）即为R1、R2的像素值。那么就从左上角到右下角，生成卷积之后的矩阵的大小是(5-3+1)*(5-3+1)的矩阵，生成之后的矩阵的元素值，是之前的两个矩阵对应元素的乘积之和；在右边的等式中的字母y1、y2、y都是已知的，f(x,y1)与f(x,y2）即为上一个式子中求出的R1、R2像素值。

一、ReLU（Rectified Linear Activation Function）1、优点2、缺点3、补充1.Leaky ReLUs2.参数化修正线性单元（PReLU）3.随机纠正线性单元（RReLU）二、Sigmoid1、优点2、缺点三、Tanh（hyperbolic tangent）四、Sigmoid 和 Tanh 激活函数的局限性五、softmax（归一化指数函数）1、将预测结果转化为非负数2、各种预测结果概率之和等于13、例子六、pipeline

AdapterLoRA微调实际上是利用大型预训练的语言模型来执行下游任务的方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储完整的副本。在本文中，我们提出了前缀调优，这是对自然语言生成任务进行微调的一种轻量级替代方案，它保持语言模型参数不变，但优化了一个小型的连续任务特定向量(称为前缀)。前缀调优从提示中获得灵感，允许后续令牌处理这个前缀，就像它是“虚拟令牌”一样。我们将前缀调优应用于GPT-2以生成表到文本，并应用于BART以进行摘要。

我们介绍了第一个端到端共指消解模型，并表明它在不使用句法解析器或手工设计的提及检测器的情况下显著优于以前的所有工作。关键思想是直接将文档中的所有跨域视为潜在的提及，并了解每个跨域可能的前件的分布。该模型计算将上下文相关的边界表示与首部寻找注意力机制相结合的跨度嵌入。它被训练为最大限度地从共指簇中获得Gold先行词跨度的边际可能性，并被分解为能够积极地剪枝潜在提及。

本文是对T5预训练模型的一个介绍，以及能够用来做任务测试，完整的代码稍后挂上链接。可见可以做的任务有1.翻译；2.是否接受一个句子；3.句子直接的相似度计算；4.摘要。- CoLA: Linguistic Acceptability - CoLA，全称为The Corpus of Linguistic Acceptability，是一个英语语言的句子接受度数据集，由华盛顿大学计算机科学与工程系的一组研究人员于2018年创建。该数据集旨在提供一个用于评估自然语言处理模型所生成文本的语言接受度和流畅度

是一个情感分类的项目，前面是对emotion数据集的处理和分析，以及将整个数据集分词以及处理成模型的输入形式。主要是通过加载一个文本分类的预训练模型，然后在数据集上面进emotion数据集上面的fine-tuning。然后对训练好的模型进行效果的分析，包括F1，Precision和Recall等。稍后挂上完整的代码下载链接。首先安装所需要的包!预定义一些辅助函数。

关于LSTM的原理以及公式其实在这篇博客一步一步详解LSTM网络【从RNN到LSTM到GRU等，直至attention】讲的非常清晰明了了。这里就是写出LSTM的pytorch的实现，包括API和手写。在看代码之前有必要了解输入输出有哪些，以及他们的特性。将多层长短期记忆 (LSTM) RNN 应用于输入序列。

支持Windows，Linux和MacOS系统。可以创建和管理不同的独立环境。conda create -n #直接创建环境conda create -n python=3.10 #指定Python的版本conda env create -f # 从特定的环境文件中安装激活/退出环境做一系列的工作导出环境当conda中有一些无法安装的包再用pip安装。

本文主要译至并加上了部分笔者的见解，对于全面理解LSTM有一定的帮助。

先给出代码的实现（包括官方API和手动实现）然后逐步介绍RNN的优缺点，应用场景等。在看代码之前有必要了解输入输出有哪些，以及他们的特性。参数：（实例化时候可以传入的参数）input_size- 输入 x 中预期特征的数量。- 隐藏状态h的特征数。num_layers- 循环层数。例如，设置意味着将两个 RNN 堆叠在一起形成堆叠式 RNN，第二个 RNN 接收第一个 RNN 的输出并计算最终结果。1- 使用的非线性。可以是tanh或relu。tanhbias- 如果为False。