深度学习基础——week3

最新推荐文章于 2024-06-14 15:00:00 发布
最新推荐文章于 2024-06-14 15:00:00 发布
阅读量86 收藏
点赞数 1
分类专栏： 深度学习入门 文章标签： 深度学习 cnn 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51502608/article/details/125340697
版权

!!!更好的阅读体验!!!

ResNet网络结构

亮点

  • 超深
  • residual模块
  • 使用Batch Normalization加速训练，不需要使用dropout

残差结构有效解决了梯度消失/爆炸、退化问题

residual结构

重点：

  • 1X1卷积层作用是改变通道数

  • 右边的方法有效减少了参数

重点：

  • 注意stride和通道数的变化
  • 注意虚线部分的作用：改变深度和特征矩阵长宽

BN

目的：使得一批（Batch）数据的特征矩阵每个维度满足均值为0,方差为1。(还有 γ β \gamma \quad \beta γβ)

对象：一批数据，某一个通道的所有特征矩阵

注意：

  • 训练时，traning:True 验证时：traning:False

  • Batch size 越大越好

  • bn层建议放在卷积层后，卷积不要使用bias (没用)

  • μ σ 2 \mu \quad \sigma^{2} μσ2在正向传播过程中统计得到

  • γ β \gamma \quad \beta γβ在反向传播过程中训练得到

迁移学习

好处：

  • 快
  • 数据集小也可以有好效果
  • 注意：用别人的预处理方法

常见方式：

  • 载入后训练所有参数，不固定
  • 固定前面参数，只训练最后几层
  • 固定所有参数，额外添加全连接层

ResNeXt网络结构

对ResNet的升级：更新了block

Group Convolution(组卷积)

block

-meteor-
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
01.神经网络和深度学习 —— week2 神经网络基础
iCode_girl的博客
01-29 259
2.1 二分类问题 1. 两个问题 实现神经网络如果遍历训练集，不需要用for循环； 为什么神经网络的计算过程可以分为前向传播和后向传播； 2. 给出几个符号及含义 样本(x,y)(x,y)(x,y)，训练样本包括m个； x∈Rnxx∈R^{n_{x}}x∈Rnx​，表示样本x包含nxn_{x}nx​个特征（hight * width * channel）； y∈(0,1)y∈(0,1)y∈...
吴恩达 深度学习课后作业系列 3
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week2课后作业原题 看完视频还是得多多练习。
深度学习基础——week2
weixin_51502608的博客
06-17 670
Step1： 搭建神经网络结构Step2： 找到一个合适的损失函数(Cost Function)Eg : 回归损失：均方误差（MSE），平均绝对值误差（MAE）分类损失：交叉熵损失，hinge lossStep3: 找到一个合适的优化函数，更新参数反向传播（BP）,随机梯度下降（SGD）,螺旋数据分类用的 Adam 等等。全连接层的花费是巨大的，一张百万像素的图片输入维度1000000，假如隐藏层维度为1000，那么就需要10910^9109个参数。此外拟合这么多的参数也需要巨量的数据，参数过多也可能会出现
深度学习基础——week1
weixin_51502608的博客
06-17 235
PyTorch 是基于以下两个目的而打造的python科学计算框架：无缝替换NumPy，并且通过利用GPU的算力来实现神经网络的加速。通过自动微分机制，来让神经网络的实现变得更加容易。张量如同数组和矩阵一样, 是一种特殊的数据结构。在PyTorch中, 神经网络的输入、输出以及网络的参数等数据, 都是使用张量来进行描述。 张量属性 从张量属性我们可以得到张量的维数、数据类型以及它们所存储的设备(CPU或GPU)。 张量运算 运算例如转置、索引、切片、数学运算、线性代数、随机采样等，下面是一些常见的张量运
深度学习基础——week4
weixin_51502608的博客
06-17 319
音乐、语言、文本、视频、股价…假设当前当前数据只跟 τ\tauτ 个过去数据点相关 p(xt∣x1,…xt−1)=p(xt∣xt−τ,…xt−1)=p(xt∣f(xt−τ,…xt−1)) p\left(x_{t} \mid x_{1}, \ldots x_{t-1}\right)=p\left(x_{t} \mid x_{t-\tau}, \ldots x_{t-1}\right)=p\left(x_{t} \mid f\left(x_{t-\tau}, \ldots x_{t-1}\right)\righ
神经网络与深度学习——课程学习总结——Week2
m0_66603327的博客
04-08 603
➢ PyTorch是一个Python的深度学习库。它最初由Facebook人工智能研究小组开发，而优步的Pyro软件则用于概率编程。➢ 最初，PyTorch由Hugh Perkins开发，作为基于Torch框架的LusJIT的Python包装器。PyTorch在Python中重新设计和实现Torch，同时为 后端代码共享相同的核心C库。➢ 除了Facebook之外，Twitter、GMU和Salesforce等机构都采用了PyTorch。
机器学习——Week3
m0_56969616的博客
10-10 101
文章目录一、逻辑回归1.前言引入2.简单介绍3.线性回归算法的选择4.多项式回归5.代码演示二、分类器项目案例1.简单介绍2.代码演示 提示：以下是本篇文章正文内容，下面案例可供参考 一、逻辑回归 多元线性回归（Ridge、Lasso、ElasticNet）是做回归预测的 逻辑回归（Logistic Regression）是做分类任务的 1.前言引入 Q：做回归预测损失函数是什么？ A：平方均值损失函数MSE Q：做分类损失函数是什么？ A：做分类损失函数是交叉熵！ Q：什么是熵？ A：熵是一种测量分
深度学习基础——张量的通俗理解
SupreEvi的博客
11-13 1877
转载链接：https://www.cnblogs.com/abella/p/10142935.html 也许你已经下载了TensorFlow，而且准备开始着手研究深度学习。但是你会疑惑：TensorFlow里面的Tensor，也就是“张量”，到底是个什么鬼？也许你查阅了维基百科，而且现在变得更加困惑。也许你在NASA教程中看到它，仍然不知道它在说些什么？问题在于大多数讲述张量的指南，都假设...
2023暑期培训【week 1】——深度学习基础
m0_73588392的博客
07-29 104
一般定义数据使用torch.Tensor ， tensor的意思是张量，是数字各种形式的总称Tensor支持各种各样类型的数据，包括：创建Tensor有多种方法，包括：凡是用Tensor进行各种运算的，都是Function最终，还是需要用Tensor来进行计算的，计算无非是基本运算，加减乘除，求幂求余布尔运算，大于小于，最大最小线性运算，矩阵乘法，求模，求行列式。
深度学习——卷积神经网络
qq_44425969的博客
01-17 780
卷积神经网络（Convolutional Neural Networks, CNN）在深度学习领域有着广泛的使用。本篇文章介绍一下CNN的原理及实现过程。
吴恩达 深度学习课后作业系列6
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week6课后作业原题 看完视频还是得多多练习。
机器学习代码week1
02-29
机器学习代码week1
吴恩达 深度学习系列课后作业系列12
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列12 ，week12课后作业原题 看完视频还是得多多练习。
吴恩达 深度学习课后作业系列 5
06-12
吴恩达 深度学习课后作业 深度学习系列课后作业系列1 ，week课后作业原题 看完视频还是得多多练习。
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 381
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
Python学习从0开始——Kaggle深度学习002
最新发布
哈哈哈哈
06-14 592
与所有机器学习任务一样，我们从一组训练数据开始。训练数据中的每个示例都由一些特征(输入)和预期目标(输出)组成。训练网络意味着调整其权重，使其能够将特征转化为目标。例如，在80种谷物的数据集中，我们想要一个网络，它可以获取每种谷物的“糖”、“纤维”和“蛋白质”含量，并对该谷物的“卡路里”进行预测。如果我们可以成功地训练一个网络来做到这一点，它的权重必须以某种方式表示这些特征和训练数据中表达的目标之间的关系。除了训练数据，我们还需要两个东西：一个衡量网络预测好坏的“损失函数”。
神经网络 torch.nn---nn.RNN()
qq_45452617的博客
06-13 710
的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。x_t是上一层时刻t的隐状态，或者是第一层在时刻t的输入。weight_ih_l[k] – 第。weight_hh_l[k] – 第。bias_ih_l[k] – 第。bias_hh_l[k] – 第。偏置， 可学习，形状是。h_t是时刻t的隐状态。
深度学习简单概述
SQL__Learning的博客
06-09 875
理论上来说，参数越多的模型复杂度越高、容量越大，这意味着它能完成更复杂的学习任务。但复杂模型的训练效率低，易陷入过拟合。随着云计算、大数据时代的到来，计算能力的大幅提高可以缓解训练的低效性，训练数据的大幅增加可以降低过拟合风险。因此，以深度学习（Deep Learning，DL）为代表的复杂模型迎来关注。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）
深度学习week1-RNN心脏病预测
07-27
你好！对于心脏病预测的问题，使用循环神经网络（RNN）是一种常见的方法。RNN适用于处理序列数据，而心电图信号就是一种序列数据。在使用RNN进行心脏病预测时，你可以将心电图信号作为输入序列，然后通过训练RNN模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值