![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李沐动手学深度学习
文章平均质量分 95
kgbkqLjm
这个作者很懒,什么都没留下…
展开
-
学习笔记-李沐动手学深度学习(七)(19-21,卷积层、填充padding、步幅stride、多输入多输出通道)
全程中 核是不变的(即平移不变形)【二维卷积层】用卷积核去扫描时,丢掉的内容就是 (kh - 1) x (kw - 1)下图中 五角星 即为 上节定义的二维交叉相关操作子;W和b都是可以学习的参数【举例】弹幕说:卷积核肯定是自己学,因为卷积核中每个元素都代表一个weight。原创 2024-02-27 08:58:55 · 704 阅读 · 0 评论 -
学习笔记-李沐动手学深度学习(五)(14-15,数值稳定性梯度爆炸和消失、调学习率、模型初始化和激活函数、Kaggle房价预测)
【目标】让梯度值在合理范围内【目标的实现方式】(本节讲方式三,一、二后面讲)(1)让乘法变加法:CNN中用的多的是 ResNetRNN中用的多的是LSTM(带时序的)(2)归一化(不管原梯度多大,都将其拉到 均值为0方差为1的范围内)或 设定阈值(如梯度大于5,则置为5,小于-5,则置为-5)(3)合理的权重初始化和激活函数(即 合理选择w和sigma)原创 2024-01-27 18:14:45 · 1185 阅读 · 0 评论 -
学习笔记-李沐动手学深度学习(四)(12-13,权重衰退、L2正则化、Dropout)
【L2范数】||w|| 或 ||w||2。注:省略右下角角标2是指 L2范数是默认的范数。即 一般说范数,就指L2范数【各种范数参考链接】https://blog.csdn.net/weixin_58045467/article/details/131091687本节用的是L2范数的平方【基本理解】dropout是正则化的一种方式【dropout作用场景】(1)位置:一般应用在全连接的隐藏层的输出上(不会作用于卷积层)(2)时间:且只作用在训练过程。原创 2024-01-25 20:28:47 · 1153 阅读 · 0 评论 -
学习笔记-李沐动手学深度学习(三)(10-11,隐藏层、多层感知机、激活函数、模型超参数选择、欠过拟合)
六七十年前的模型:加粗为向量,内积从图像上来看感知机: 有多个输入,一个输出(即二分类问题)① 线性回归输出的是一个实数,感知机输出的是一个离散的类。【深度学习的核心】首先是要模型足够大(不大的话没有前途,很难解决复杂问题),在此基础上通过各种手段 来控制模型容量,使得最终得到较小的泛化误差模型容量即模型复杂度:拟合各种函数的能力。复杂的模型可以学习更复杂的函数。模型容量低就是简单的模型。简单数据集如MNIST,复杂数据集如ImageNet。原创 2024-01-23 10:11:46 · 1394 阅读 · 0 评论 -
学习笔记-李沐动手学深度学习(二)(08-09、线性回归、优化算法、梯度下降、学习率、Softmax回归、损失函数、图片分类)
说明:"""生成 y = Xw + b + 噪声"""num_examples = len(features) # 样本个数indices = list(range(num_examples)) # 样本索引# 这些样本是随即读取的,没有特定的顺序random.shuffle(indices) # 把索引随即打乱。原创 2024-01-21 09:56:26 · 1073 阅读 · 0 评论 -
学习笔记-李沐动手学深度学习(一)(01-07,概述、数据操作、tensor操作、数学基础、自动求导(前向计算、反向传播))
【语言是一个符号】【深度学习是机器学习的一种】最热的方向:深度学习和CV、NLP结合【AI地图】① 如下图所示,X轴是不同的模式,最早的是符号学,然后概率模型、机器学习。Y轴是我们想做什么东西,感知是我了解这是什么东西,推理形成自己的知识,然后做规划。② 感知类似我能看到前面有个屏幕,推理是基于我看到的东西想象未来会发生什么事,根据看到的现象、数据,形成自己的知识,知道所有知识后能进行长远的规划,未来怎么做。原创 2024-01-19 15:11:41 · 1410 阅读 · 0 评论