动手学深度学习
流水荡荡
这个作者很懒,什么都没留下…
展开
-
Lenet&&卷积神经网络进阶
二.LeNet2.1 LeNet模型LeNet分为卷积层块和全连接层块两个部分。下面我们分别介绍这两个模块。卷积层用来识别图像里的空间模式,如线条和物体局部,之后的平均池化层则用来降低卷积层对位置的敏感性。class Flatten(torch.nn.Module): #展平操作 def forward(self, x): return x.view(x.shape[0], -1)class Reshape(torch.nn.Module): #将图像大小重定型原创 2020-07-21 23:52:58 · 223 阅读 · 0 评论 -
图像风格迁移
一.图像迁移这里我们需要两张输入图像,一张是内容图像,另一张是样式图像,我们将使用神经网络修改内容图像使其在样式上接近样式图像。1.1 方法假设.如果选取的预训练的神经网络含有3个卷积层,其中第二层输出图像的内容特征,而第一层和第三层的输出被作为图像的样式特征。接下来,我们通过**正向传播(实线箭头方向)计算样式迁移的损失函数,并通过反向传播(虚线箭头方向)**迭代模型参数,即不断更新合成...原创 2020-03-13 00:00:46 · 748 阅读 · 0 评论 -
梯度消失和梯度爆炸
二.梯度消失和梯度爆炸2.1 梯度消失和梯度爆炸当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第l层H(l)的权重参数为W(l),输出层H(L)的权重参数为W(L)。为了便于讨论,不考虑偏差参数,且设所有隐藏层的激活函数为恒等映射(identity mapping)ϕ(x)=x。给定输入X,多层感知机的第l层的输出H(l)=XW(1)W(2)…W(l)。此时...原创 2020-03-10 21:24:34 · 186 阅读 · 0 评论 -
多层感知机
三.多层感知机:1.1 形成多层神经网络1.2 表达公式1.3 激活函数上述问题的根源在于全连接层只是对数据做仿射变换(affine transformation),而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换,例如对隐藏变量使用按元素运算的非线性函数进行变换,然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数(activation functi...原创 2020-02-29 23:43:32 · 161 阅读 · 0 评论 -
softmax
一.softmax和分类模型:1.1 离散值与神经网络与softmax1.1.1 离散值由于线性回归 都是预测连续性的值,当需要进行离散值.进行分类:假设真实标签为狗、猫或者鸡,这些标签对应的离散值为y1,y2,y3。 我们通常使用离散的数值来表示类别,例如y1=1,y2=2,y3=31.1.2 神经网络:图用神经网络图描绘了上面的计算。softmax回归同线性回归一样,也是一个单...原创 2020-02-29 23:34:08 · 555 阅读 · 0 评论 -
GAN&&DCGAN
一 GAN1.1 GAN由于在前面,我们对于图形方面 讨论的大部分都是如何分类,如给出一堆猫与狗的数据,我们进行模型的设计用来将图片进行分类判别那些是属于狗和猫.这种的操作称为分类模型。但是神经网络能做的事不仅如此.例如 通过一堆狗的大量数据,神经网络根据这些狗的数据 进行特征提取等操作,生成一种全新的狗的图像.这种操作称之为生成模型.因此,具有数据生成能力的这类模型成为研究热点,如Pixel...原创 2020-02-25 01:45:10 · 230 阅读 · 0 评论 -
目标检测基础&&图像风格迁移&&图像分类案例1
一.目标检测基础1.1 锚框这里我们介绍其中的一种方法:它以每个像素为中心生成多个大小和宽高比(aspect ratio)不同的边界框。这些边界框被称为锚框(anchor box)。1.1.1 生成多个锚框假设输入图像高为 h,宽为w。我们分别以图像的每个像素为中心生成不同形状的锚框。设大小为s∈(0,1]且宽高比为r>0,那么锚框的宽和高将分别为ws * sqrt®和hs/sqrt...原创 2020-02-24 14:37:34 · 837 阅读 · 0 评论 -
批量归一化&&凸优化&&梯度下降
一.批量归一化1.1批量归一化1.1.1 在浅层模型中处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近1.1.2 在深层模型中利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.2 归一化1.2.1 全连接层的归一化位置:全连接层中的仿射变换和激活函数之间。1.2.2 ...原创 2020-02-21 18:11:57 · 472 阅读 · 0 评论 -
机器翻译及相关技术&&注意力机制和Seq2seq模型&&Transformer
一.机器翻译及相关技术原创 2020-02-19 15:41:11 · 334 阅读 · 0 评论 -
欠拟合和过拟合
一.欠拟合和过拟合原创 2020-02-17 01:22:34 · 242 阅读 · 0 评论 -
卷积神经网络基础
一.卷积神经网络基础1.1二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]])K = torch.tensor([[0, 1], [2, 3]]...原创 2020-02-16 22:25:24 · 506 阅读 · 0 评论 -
文本预处理&&语言模型&&循环神经网络基础
一.文本预处理原创 2020-02-14 18:29:55 · 381 阅读 · 0 评论 -
线性回归
1.线性回归线性回归属于连续值类型的方法.2.例子:以房屋价格预测进行实践2.1 设房屋的面积为 x1 ,房龄为 x2 ,售出价格为 y。2.2 在机器学习术语里,该数据集被称为训练数据集(training data set)或训练集(training set),一栋房屋被称为一个样本(sample),其真实售出价格叫作标签(label),用来预测标签的两个因素叫作特征(feature...原创 2020-02-11 20:59:32 · 274 阅读 · 0 评论