动手学pytorch深度学习
小企鹅爱吃鱼
这个作者很懒,什么都没留下…
展开
-
task08--模型微调
模型微调在6万张图像的Fashion-MNIST训练数据集上训练模型。学术界当下使用最广泛的大规模图像数据集ImageNet,它有超过1,000万的图像和1,000类的物体。然而,我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子,然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子,为每种椅子拍摄1,000张不同角度的图像,然后在收集到的图像数据...原创 2020-02-25 18:55:06 · 183 阅读 · 0 评论 -
task07--word2vec
1、词嵌入基础使用 one-hot 向量表示单词,虽然它们构造起来很容易,但通常并不是一个好选择。一个主要的原因是,one-hot 词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度。Word2Vec 词嵌入工具的提出正是为了解决上面这个问题,它将每个词表示成一个定长的向量,并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类比关系,以引入一定的语义信息。基于两种...原创 2020-02-24 18:09:08 · 138 阅读 · 0 评论 -
task06--批量归一化
批量归一化(BatchNormalization)BN算法(Batch Normalization)其强大之处如下:(1)、你可以选择比较大的初始学习率,让你的训练速度飙涨。以前还需要慢慢调整学习率,甚至在网络训练到一半的时候,还需要想着学习率进一步调小的比例选择多少比较合适,现在我们可以采用初始很大的学习率,然后学习率的衰减速度也很大,因为这个算法收敛很快。当然这个算法即使你选择了较小的学习...原创 2020-02-20 15:52:20 · 215 阅读 · 0 评论 -
task05--卷积神经网络
卷积神经网络卷积神经网络中,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。卷积核的尺寸通常小于输入数组,卷积核在输入数组上滑动,在每个位置上,卷积核与该位置处的输入子数组按元素相乘并求和,得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子,阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。[外链图片转存中…(img-bOsyWnQN-1582011106...原创 2020-02-18 18:23:32 · 262 阅读 · 0 评论 -
task04--机器翻译及Transformer
(一)注意力机制在“编码器—解码器(seq2seq)”中,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器以生成目标序列。然而这种结构存在着问题,尤其是RNN机制实际中存在长程梯度消失的问题,对于较长的句子,我们很难寄希望于将输入的序列转化...原创 2020-02-18 11:11:47 · 185 阅读 · 0 评论 -
pytorch--task02--rnn,文本预处理
自然语言处理学习中的笔记心得一、文本预处理1.分词有一些现有的工具可以很好地进行分词,我们在这里简单介绍其中的两个:spaCy和NLTK。text = "Mr. Chen doesn't agree with my suggestion."import spacynlp = spacy.load('en_core_web_sm')doc = nlp(text)print([t...原创 2020-02-14 17:07:37 · 231 阅读 · 0 评论 -
pytorch--task01--线性回归,softmax分类
(一)线性回归模型为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:price=warea⋅area+wage⋅age+b\mathrm{price} = w_{\mathrm{area}} \cdot \mathrm{area} + w_{\mathrm{age}}...原创 2020-02-14 14:45:34 · 193 阅读 · 0 评论