pytorch学习
好快的剑
这个作者很懒,什么都没留下…
展开
-
pytorch组队学习
文本分类文本情感分类文本分类是自然语言处理的一个常见任务,它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题:使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析,并有着广泛的应用。同搜索近义词和类比词一样,文本分类也属于词嵌入的下游应用。在本节中,我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络,来判断一段不定长的文本序列中包含的是正面还是负面的情...原创 2020-02-25 19:35:43 · 226 阅读 · 0 评论 -
pytorch组队学习
优化算法进阶11.6 Momentum在 Section 11.4 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这可能会带来一些问题。对于noisy gradient...原创 2020-02-25 19:31:31 · 311 阅读 · 0 评论 -
pytorch组队学习
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。全连接:批量...原创 2020-02-25 19:27:04 · 239 阅读 · 0 评论 -
pytorch组队学习
卷积神经网络基础本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量H,用Ht表示H在时间步t的值。Ht的计算基于Xt和Ht−1,可以认为Ht记录了到当前字符为止的序列信息,利用Ht对序列的下一个字符进行预测。循环神经网络的构造我们先看循环神经网络的具体构造。假设 Xt∈Rn×d 是时...原创 2020-02-19 20:49:47 · 231 阅读 · 0 评论 -
pytorch组队学习打卡
机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。注意力机制与Seq2seq模型注意力机制在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编...原创 2020-02-19 20:42:43 · 229 阅读 · 0 评论 -
pytorch组队学习打卡
过拟合、欠拟合及其解决方案模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性...原创 2020-02-19 20:37:31 · 95 阅读 · 0 评论 -
pytorch打卡学习(2)
Task02:文本预处理;语言模型;循环神经网络基础文本预处理读入文本分词建立字典将词转为索引用现有工具进行分词语言模型语言模型假设序列 w1,w2,…,wT 中的每个词是依次生成的,我们有P(w1,w2,…,wT)=∏t=1TP(wt∣w1,…,wt−1)=P(w1)P(w2∣w1)⋯P(wT∣w1w2⋯wT−1)例如,一段含有4个词的文本序列的概率P(w1,w2,w3,...原创 2020-02-14 21:30:02 · 115 阅读 · 0 评论 -
第一次打卡学习
Task01:线性回归;Softmax与分类模型、多层感知机线性回归模型¶为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+b数据集我们通常收集一系列的真实数据,例如多栋房屋的真实售出价格和它们对应的面积和房龄...原创 2020-02-14 21:22:26 · 168 阅读 · 0 评论