【学习笔记】动手学深度学习task06

最新推荐文章于 2022-11-29 16:57:10 发布
最新推荐文章于 2022-11-29 16:57:10 发布
阅读量247 收藏
点赞数 1
分类专栏： DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41541562/article/details/104417699
版权

文章目录

一、批量归一化和残差网络

1.批量归一化

利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。

1.1 全连接层上的批量归一化

位置：全连接层中的仿射变换和激活函数之间。
在这里插入图片描述
简洁实现是BatchNorm1d(输出神经元个数)

1.2 卷积层上的批量归一化

位置：卷积计算之后、应⽤激活函数之前。

如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数。 计算：对单通道，batchsize=m,卷积计算输出=pxq 对该通道中m×p×q个元素同时做批量归一化,使用相同的均值和方差。

简洁实现是BatchNorm2d(输出通道数)

1.3 移动平均法

作用：更新均值和方差

例如：

# 更新移动平均的均值和方差
        moving_mean = momentum * moving_mean + (1.0 - momentum) * mean
        moving_var = momentum * moving_var + (1.0 - momentum) * var

2.残差网络

深度学习的问题：深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，准确率也变得更差。

2.1 残差块（Residual Block）

在这里插入图片描述
在残差块中，输⼊可通过跨层的数据线路更快 地向前传播。

2.2 稠密连接网络（DenseNet）

在这里插入图片描述
主要构建模块：

1.稠密块（dense block）： 定义了输入和输出是如何连结的。

稠密块最终输出通道的计算为：卷积层*输出通道数+输入通道数

2.过渡层（transition layer）：用来控制通道数，使之不过大。

过渡层使用1X1卷积层来减小通道数、步幅为2的平均池化层：减半高和宽

二、凸优化

优化方法目标：训练集损失函数值
深度学习目标：测试集损失函数值

优化在深度学习中的挑战：

  1. 局部最小值
  2. 鞍点：对所有自变量一阶偏导数都为0，且Hessian矩阵特征值有正有负的点
  3. 梯度消失

三、梯度下降

沿梯度反方向移动自变量可以减小函数值

由于希望梯度下降过程中，下降的步幅可以是不同的，提出了自适应方法来自动调节学习率。

1.牛顿法

2.预处理 （Heissan阵辅助梯度下降）

3.梯度下降与线性搜索（共轭梯度法）

随机梯度下降:求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本来求梯度

小批量随机梯度下降（SGD）：对m个样本，采用x个批量来迭代，x值可调整。

谈梯度下降法和随机梯度下降法

第二次学习笔记
leo_lixinghao的博客
02-19 357
过拟合、欠拟合及其解决方案； 过拟合、欠拟合的概念 权重衰减 丢弃法 梯度消失、梯度爆炸； 用房价预测的例子体现： 关于房价的预测，定义这个预测函数 def train_and_pred(train_features, test_features, train_labels, test_data, num_epochs, lr, weight_decay, batch_size): net = g...
14 批量归一化
qq_45654059的博客
08-26 217
批量归一化利用了小批量的平均值和方差，调整神经网络的中间输出。改善了因模型参数的更新造成的输出层输出的剧烈变化。 对全连接层做批量归一化 批量归一化层的输入是全连接层的输出，批量归一化层的输出是激活函数的输入。 对一批小批量做归一化，目标维度是批次，即求出的均值的形状是一个样本的形状，对每一个样本做标准化后得到的也是一个样本的形状。 引入可学习参数γ和β，与样本形状相同，分别与样本做按元素乘法和加法计算。 最终得到了批量归一化层的输出yi 在学习过程中，也存在批量归一化层不对样本造成任何变化的可能，即若
（pytorch进阶之路）五种归一化原理和实现
qq_19841133的博客
08-08 3167
为什么IN能实现风格迁移，输入是[N，L，C]，我们对dim=1求均值和标准差，相当于当前这个单一样本在所有时刻不变的东西，我们减去均值再除以标准差，相当于我们把这个单一的时序样本在所有时刻中都有的东西消去了，什么东西是这个样本在所有时刻都有的呢，就是这个样本（图片）的风格，如果是音频，那就是这个人的说话的身份是不变。调用API，传入emb_dim，为了方便验证关闭affine，传入的input的格式是[N,C,L]，输出格式也是[N,C,L]，我们习惯[N,L,C]，我们就转置一下。.........
《动手学深度学习》第十七天---批量归一化
qq_39594939的博客
08-06 1499
由于在看论文的时候设涉及批量归一化的知识，所以决定提前学这一节。 批量归一化（batch normalization）的提出是为了解决对深层神经网络，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化的问题。 （一）批量归一化层 对全连接层进行批量归一化操作： 我们将批量归一化层置于全连接层中的仿射变换和激活函数之间。 也就是说，对于全连接层的输入u，先进行 x=W...
均值和方差的计算（滑动平均和标准差）
u014250897的专栏
07-04 4121
假设有一组序列，期望以n为步进，滑动求得每n个数据的平均值和标准差（即，想要求得，的平均值和标准差，的平均值和标准差，以此类推）。那么，我们期望通过一种递推公式，来减少计算量。 先上结论（注：用方差替代标准差给出结论），后给证明。 证明过程： ...
伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记
01-06
伯禹公益AI《动手学深度学习PyTorch版》Task 06 学习笔记 Task 06：批量归一化和残差网络；凸优化；梯度下降 微信昵称：WarmIce 批量归一化和残差网络 BN和ResNet都没什么特别好说的。 DenseNet久闻其名，但是一直...
【学习笔记】动手学深度学习task05
01-07
一、卷积神经网络基础 1.互相关运算 举例二维互相关运算如下： 输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。 卷积核的尺寸通常小于输入...
【学习笔记】动手学深度学习 Task02
01-06
(需要一定时间逐步补充以下内容，暂且用做打卡) 1. 模型选择、过拟合和欠拟合 训练误差和泛化误差 模型选择 验证数据集 K折交叉验证 过拟合和欠拟合 模型复杂度 权重衰减 L2 范数正则化 高维线性回归实验 ...
动手学深度学习 Task4 笔记
01-06
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译...
动手学深度学习Pytorch版本学习笔记 Task4
01-06
1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的...
时间序列：时间序列模型---移动平均过程（Moving Average Process)
bluepomelo的博客
11-29 2052
时间序列之移动平均过程
动手学习深度学习（总结梳理）——17. 批量归一化(BN)
weixin_44981126的博客
10-19 625
动手学习深度学习（总结梳理）——17. 批量归一化
移动标准差以及移动平均值(movstd、movmean)
记录学习的过程
10-11 1万+
移动标准差以及移动平均值(movstd、movmean) 最近在工作中遇到这样一个问题： 有一个序列长度为 nnn 的序列 T=[t0,t1,…,tn−1]T=[t_0, t_1, \dots, t_{n-1}]T=[t0​,t1​,…,tn−1​]，给定一个窗大小 m(m<=n)m (m <= n)m(m<=n)，下标从0开始，计算窗大小的均值和标准差，即计算T[0:m-1]、...
batch normalization
思维缜密的博客
08-24 132
μB=1m∑i=1mx(i)\mu _{B} = \frac{1}{m} \sum_{i=1}^{m} x^{(i)}μB​=m1​∑i=1m​x(i) σB2=1m∑i=1m(x(i)−μB)2\sigma _{B}^{2} =\frac{1}{m} \sum_{i=1}^{m} \left ( x^{(i)} - \mu _{B} \right )^{2}σB2​=m1​∑i=1m​(x(i)−μB​)2 X^(i)=X−μBσB2+ϵ\hat{X} ^{\left(i \right )}= \frac
计算移动平均值2
qq_41000421的博客
11-29 702
def make_average(): series =[] def averager(new_value): series.append(new_value) total = sum (series) return total/len(series) return averager avg = make_aver...
深度学习中的9种归一化方法概述
stay hungry, stay foolish
01-29 1万+
9 种 归一化（Normalization）方法概述
一、MA（Moving Average）移动平均
往旁边坐坐，压到我隐形的翅膀了
11-15 1万+
一、MA（Moving Average）移动平均一MAMoving Average移动平均 介绍 特点 常用移动平均线 WMA Weigted Moving Average 加权移动平均线 EMA Exponential Moving Average 指数平滑移动平均线 MACD Moving Average Convergence Divergence 指数平滑异同移动平均线 介绍用于分析时间序
移动平均法（Moving average，MA） 指数平滑法（Exponential Smoothing，ES）
热门推荐
tz_zs的博客
10-25 9万+
____tz_zs 注：本博客概念解释部分均来自 MBA智库百科 一、移动平均法（Moving average，MA） 移动平均法 - MBA智库百科 移动平均法又称滑动平均法、滑动平均模型法 移动平均法是用一组最近的实际数据值来预测未来一期或几期内公司产品的需求量、公司产能等的一种常用方法。移动平均法适用于即期预测。当产品需求既不快速增长也不快速下降，且不存在季节性因素
深度学习之稠密连接⽹络（DENSENET）
MumuziD的博客
03-28 660
DenseNet与残差网络（ResNet）有区别也类似。区别如下： 在跨层连接上：ResNet（左）使⽤相加；DenseNet（右）使⽤连结。 DenseNet将模块 A 直接跟模块 B 后⾯的所有层连接在了⼀起。这也是它被称 为“稠密连接”的原因。 DenseNet的主要构建模块是稠密块（dense block）和过渡层（transition layer）。前者定义了输⼊和输出是如何...
import java.util.Scanner; /* * 说明：根据提示，补充完整 begin 和 end 之间的代码。 * （其他代码可以不用改） */ // 定义学生类名 class Student { /**************** begin *****************/ /* * 定义两个非私有属性：姓名name属性和学校school属性， * 学校school属性为静态的，默认值为北京大学。 */ private String name; private String school="北京大学"; /**************** end *****************/ void speak() { System.out.println("我的名字是" + name + ",来自" + school); } } public class Task06 { public static void main(String[] args) { Scanner scan = new Scanner(System.in); /**************** begin *****************/ /* * 定义两个学生类对象，并为每个对象的姓名属性赋值， * 值为运行时接收从键盘输入； * 通过每个对象调用speak()方法。 */ String name=scan.next(); Student s1=new Student(); Student s2=new Student(); s1.speak(); s2.speak(); /**************** end *****************/ /**************** begin *****************/ /* * 改写学生类的school属性值，值为运行时接收从键盘输入 */ /**************** end *****************/ /**************** begin *****************/ /* * 再通过前面创建的两个对象分别调用speak()方法 */ /**************** end *****************/ } }
最新发布
06-12
import java.util.Scanner; // 定义学生类名 class Student { // 定义两个非私有属性：姓名name属性和学校school属性， // 学校school属性为静态的，默认值为北京大学。 private String name; private static String school = "北京大学"; // 静态属性 void speak() { System.out.println("我的名字是" + name + ",来自" + school); } // 获取和设置name属性的方法 public String getName() { return name; } public void setName(String name) { this.name = name; } // 获取和设置school属性的方法 public static String getSchool() { return school; } public static void setSchool(String school) { Student.school = school; } } public class Task06 { public static void main(String[] args) { Scanner scan = new Scanner(System.in); // 定义两个学生类对象，并为每个对象的姓名属性赋值， // 值为运行时接收从键盘输入； // 通过每个对象调用speak()方法。 Student s1 = new Student(); System.out.println("请输入第一个学生的姓名："); s1.setName(scan.next()); s1.speak(); Student s2 = new Student(); System.out.println("请输入第二个学生的姓名："); s2.setName(scan.next()); s2.speak(); // 改写学生类的school属性值，值为运行时接收从键盘输入 System.out.println("请输入学校的名称："); String school = scan.next(); Student.setSchool(school); // 再通过前面创建的两个对象分别调用speak()方法 s1.speak(); s2.speak(); } }
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值