pytorch
文章平均质量分 78
YangZ_L
这个作者很懒,什么都没留下…
展开
-
[pytorch笔记] Seq2Seq,Attention,预训练语言模型
Seq2Seq seq2seq属于encoder-decoder结构的一种,常见的encoder-decoder结构,基本思想就是利用两个RNN,一个RNN作为encoder,另一个RNN作为decoder。encoder负责将输入序列压缩成指定长度的向量,这个向量就可以看成是这个序列的语义,这个过程称为编码,而decoder则负责根据语义向量生成指定的序列,这个过程也称为解码。 Attention 为了解决这一由长序列到定长向量转化而造成的信息损失的瓶颈,Attention注意力机制被引入了。Attent原创 2021-07-08 14:22:52 · 437 阅读 · 0 评论 -
[pytorch笔记] 文本分类,CNN,GAN
文本分类 分类问题 1.模型:分类器。分类器是一个函数f,这个函数拿到输入x然后输出类别y。 2.预测 3.学习 常见应用 识别垃圾邮件 情感分类 主题分类 CNN 卷积神经网络的各层中的神经元是3维排列的:宽度、高度和深度。其中的宽度和高度是很好理解的,因为本身卷积就是一个二维模板,但是在卷积神经网络中的深度指的是激活数据体的第三个维度,而不是整个网络的深度,整个网络的深度指的是网络的层数。 在处理图像这样的高维度输入时,让每个神经元都与前一层中的所有神经元进行全连接是不现实的。相反,我们让每个神经元只与原创 2021-07-08 12:02:44 · 951 阅读 · 0 评论 -
[pytorch笔记] pytorch简介,词向量,语言模型,RNN和LSTM
pytorch简介 Pytorch的两个操作对象 1. Tensor Tensor就是张量的英文,表示多维的矩阵,比如一维就是向量,二维就是一般的矩阵等等,Pytorch里面处理的单位就是一个一个的Tensor。 2.Variable Variable提供了自动求导功能,也就是可以自动给你你要的参数的梯度。 本质上Variable和Tensor没有区别,不过Variabel会放入一个计算图,然后进行前向传播,反向传播以及自动求导。 一个Variable里面包含着三个属性,data,grad和creator,原创 2021-07-07 17:01:01 · 373 阅读 · 0 评论