动手学深度学习
文章平均质量分 53
动手学深度学习打卡
王二小、
这个作者很懒,什么都没留下…
展开
-
十六 动手学深度学习v2计算机视觉 ——样式迁移
我们通过前向传播(实线箭头方向)计算风格迁移的损失函数,并通过反向传播(虚线箭头方向)迭代模型参数,即不断更新合成图像。内容损失使合成图像与内容图像在内容特征上接近;风格损失使合成图像与风格图像在风格特征上接近;全变分损失则有助于减少合成图像中的噪点。原创 2023-12-13 00:03:54 · 418 阅读 · 0 评论 -
十五 动手学深度学习v2计算机视觉 ——全连接神经网络FCN
全卷积网络先使用卷积神经网络抽取图像特征,然后通过卷积层将通道数变换为类别个数,最后通过转置卷积层将特征图的高和宽变换为输入图像的尺寸。因此,模型输出与输入图像的高和宽相同,且最终输出通道包含了该空间位置像素的类别预测。最后输出kx224x224, 通道数就是类别数。上图的CNN去掉了池化层和全连接层!1x1卷积层降低维度,减少计算量。原创 2023-12-12 16:36:59 · 558 阅读 · 0 评论 -
十四 动手学深度学习v2计算机视觉 ——转置矩阵
与常规卷积不同,在转置卷积中,填充被应用于的输出(常规卷积将填充应用于输入)。例如,当将高和宽两侧的填充数指定为1时,转置卷积的输出中将删除第一和最后的行与列。在转置卷积中,步幅被指定为中间结果(输出),而不是输入。使用 上图相同输入和卷积核张量,将步幅从1更改为2会增加中间张量的高和权重。原创 2023-12-12 16:36:00 · 477 阅读 · 0 评论 -
十三 动手学深度学习v2计算机视觉 ——语义分割
等特征对图像进行划分,此时比较火的算法有Ostu、FCM、分水岭、N-Cut等,这些算法一般是非监督学习,分割出来的结果并没有语义的标注,换句话说,分割出来的东西并不知道是什么。随着卷积神经网络的发展,对图像理解能力大大增强,算法逐渐可以对分割出来的部分进行分类,即对分割结果进行语义标注,称为语义分割,常用的方法有U-Net等。而随着计算能力提高以及卷积神经网络的发展,能够理解分割后图像语义的算法逐渐出现,能够理解语义的图像分割,称为语义分割。实例分割的任务是在语义分割的基础上更进一步,原创 2023-12-12 14:58:07 · 447 阅读 · 0 评论 -
十二 动手学深度学习v2计算机视觉 ——目标检测
对输入图像使用选择性搜索来选取多个高质量的提议区域 (Uijlings et al., 2013)。这些提议区域通常是在多个尺度下选取的,并具有不同的形状和大小。每个提议区域都将被标注类别和真实边界框;选择一个预训练的卷积神经网络,并将其在输出层之前截断。将每个提议区域变形为网络需要的输入尺寸,并通过前向传播输出抽取的提议区域特征;将每个提议区域的特征连同其标注的类别作为一个样本。将每个提议区域的特征连同其标注的边界框作为一个样本,训练线性回归模型来预测真实边界框。原创 2023-12-08 13:51:44 · 351 阅读 · 0 评论 -
十一 动手学深度学习v2计算机视觉 ——微调
一、网络架构 二、训练三、固定一些层总结原创 2023-11-23 16:43:22 · 68 阅读 · 0 评论 -
十 动手学深度学习v2 ——卷积神经网络之NiN + GoogLeNet
Inception块相当于一个有4条路径的子网络。它通过不同窗口形状的卷积层和最大汇聚层来并行抽取信息,并使用卷积层减少每像素级别上的通道维数从而降低模型复杂度。特点:模型参数小,计算复杂度低。GoogLeNet将九个设计精细的Inception块与其他层(卷积层、全连接层)串联起来。其中Inception块的通道数分配之比是在ImageNet数据集上通过大量的实验得来的。3x3 改成 1x3 和 3x1 减少计算量,但是效果没那么好。原创 2023-09-11 16:31:17 · 390 阅读 · 0 评论 -
九 动手学深度学习v2 ——卷积神经网络之AlexNet
原始VGG网络有5个卷积块,其中前两个块各有一个卷积层,后三个块各包含两个卷积层。第一个模块有64个输出通道,每个后续模块将输出通道数量翻倍,直到该数字达到512。由于该网络使用8个卷积层和3个全连接层,因此它通常被称为VGG-11。VGG神经网络连接 图7.2.1的几个VGG块(在vgg_block函数中定义)。其中有超参数变量conv_arch。该变量指定了每个VGG块里卷积层个数和输出通道数。全连接模块则与AlexNet中的相同。原创 2023-09-10 17:19:54 · 236 阅读 · 0 评论 -
八 动手学深度学习v2 ——卷积神经网络之卷积+填充步幅+池化+LeNet
图像卷积总结 二维卷积层的核心计算是二维互相关运算。最简单的形式是,对二维输入数据和卷积核执行互相关操作,然后添加一个偏置。 核矩阵和偏移是可学习的参数 核矩阵大小是超参数 填充和步幅 padding和stride 填充: 在应用多层卷积时,我们常常丢失边缘像素。 由于我们通常使用小卷积核,因此对于任何单个卷积,我们可能只会丢失几个像素。 但随着我们应用许多连续卷积层,累积丢失的像素数就多了。 解决这个问题的简单方法即为填充(padding):在输入图像的边界填充元素(通常填充元素是0)。 步原创 2023-09-08 15:59:32 · 554 阅读 · 0 评论 -
七 动手学深度学习v2 ——数值稳定性+模型初始化和激活函数
目标:让梯度值在合理的范围内。原创 2023-08-14 10:07:23 · 80 阅读 · 0 评论 -
六 动手学深度学习v2 ——权重衰退+dropout
保持模型简单的一个特别的选择是使用L2惩罚的权重衰减。这会导致学习算法更新步骤中的权重衰减。正则化是处理过拟合的常用方法:在训练集的损失函数中加入惩罚项,以降低学习到的模型的复杂度。dropout可以避免过拟合,它通常与控制权重向量的维数和大小结合使用的。dropout在前向传播过程中,计算每一内部层的同时丢弃一些神经元。在同一训练代码实现中,不同的参数集可以有不同的更新行为。dropout将活性值h替换为具有期望值h的随机变量。权重衰减功能在深度学习框架的优化器中提供。dropout仅在训练期间使用。原创 2023-08-12 16:38:07 · 209 阅读 · 0 评论 -
五 动手学深度学习v2 —— 模型选择+欠拟合和过拟合
此外,由于我们的训练和验证误差之间的泛化误差很小, 我们有理由相信可以用一个更复杂的模型降低训练误差。然后执行K次模型训练和验证,每次在K−1个子集上进行训练, 并在剩余的一个子集(在该轮中没有用于训练的子集)上进行验证。另一方面,当我们的训练误差明显低于验证误差时要小心, 这表明严重的过拟合(overfitting)。特别是在深度学习领域,众所周知, 最好的预测模型在训练数据上的表现往往比在保留(验证)数据上好得多。最终,我们通常更关心验证误差,而不是训练误差和验证误差之间的差距。原创 2023-08-09 14:13:07 · 33 阅读 · 0 评论 -
四 动手学深度学习v2 —— 感知机 多层感知机
多层感知机的从零开始实现。多层感知机的简洁实现。原创 2023-08-07 14:21:03 · 35 阅读 · 0 评论 -
三 动手学深度学习v2 —— Softmax回归+损失函数+图片分类数据集
目录:从回归到多类分类回归分类总结:lyy′21y−y′2lyy′∣y−y′∣lyy′⎩⎨⎧∣y−y′∣−2121y−y′2ifotherwise∣y−y′∣1。原创 2023-08-05 17:34:45 · 167 阅读 · 0 评论 -
二 动手学深度学习v2笔记 —— 线性回归 + 基础优化算法
线性回归基础优化方法1. 线性回归总结线性回归是对n维输入的加权,外加偏差使用平方损失来衡量预测值和真实值的差异线性回归有显示解线性回归可以看作是单层神经网络2. 基础优化方法梯度下降小批量随机梯度下降3. 总结梯度下降通过不断沿着反梯度方向更新参数求解小批量随机梯度下降是深度学习默认的求解算法两个重要的超参数是批量大小和学习率4. 线性回归的从零开始实现"生成 y = Xw + b + 噪声"''' 根据带有噪声的线性模型构造一个人造数据集。原创 2023-07-30 14:26:58 · 203 阅读 · 0 评论 -
一 动手学深度学习v2笔记 —— 深度学习介绍及数据操作预处理
动手学深度学习原创 2023-05-05 15:43:56 · 239 阅读 · 0 评论