深度学习笔记整理
文章平均质量分 96
鱼儿听雨眠
兴趣使然的创作者
展开
-
【动手学深度学习v2李沐】学习笔记09:数值稳定性、模型初始化、激活函数
本文从神经网络梯度的计算开始,引入了数值稳定性注意概念,解答了为什么在网络层数较深的时候会出现数值稳定性相关的问题。并详细介绍了最常见的两个数值稳定性问题:梯度消失和梯度爆炸。接下来,本文进一步介绍了如何解决数值稳定性的问题,文中主要介绍了合理的权重初始化和合理选择激活函数两种方法。详细分析了各方法是如何使数值稳定的,并且介绍了各方法如何操作。原创 2022-10-09 20:02:26 · 346 阅读 · 0 评论 -
【动手学深度学习v2李沐】学习笔记08:丢弃法
本文讲解了丢弃法的原理和作用,从丢弃法最简单的应用开始一步步讲述了如何在训练和预测中使用dropout。并且使用一个简单的代码实现对dropout的效果进行了展示。读者可以跟随文中代码进行练习。原创 2022-09-29 22:10:38 · 555 阅读 · 0 评论 -
【动手学深度学习v2李沐】学习笔记07:权重衰退、正则化
本文讲解了如何使用权重衰退处理过拟合,包括对参数大小的硬性限制和柔性限制。文章中重点讲解了柔性限制中的L2正则化,从正则化的表现、原理和形象化展示进行了多元的讲解。并且通过代码展示了正则化在解决过拟合问题中的作用。代码实现包括从零开始的实现和简洁实现。原创 2022-09-26 22:53:54 · 582 阅读 · 0 评论 -
【动手学深度学习v2李沐】学习笔记06:模型选择、欠拟合和过拟合、代码实现
本文讲述了影响模型选择的因素,包括模型容量和数据复杂度。进一步讲解了模型容量的定义、估算方法和用处。讲解了模型容量与过拟合和欠拟合之间的关系,并讨论了过拟合与欠拟合产生的原因。此外,文中通过代码进一步探索了数据、模型和拟合之间的关系。原创 2022-09-21 00:17:37 · 540 阅读 · 0 评论 -
【动手学深度学习v2李沐】学习笔记05:多层感知机、详细代码实现
李沐动手学深度学习课程的学习笔记。本文中详细介绍了感知机和多层感知的理论。并有详细的代码实现,包括:从零开始实现多层感知机和简洁实现多层感知机。文章的代码适用于PyTorch框架。原创 2022-09-16 19:45:42 · 654 阅读 · 0 评论 -
【动手学深度学习v2李沐】学习笔记04:Softmax回归、损失函数、图片分类数据集、详细代码实现
本文中详细讲述了Softmax回归的原理,并进行了从零开始的实现和简洁实现,包括详细代码和结果截图。本文还介绍了比较常用的三个损失函数:L2Loss、L1Loss和哈珀鲁棒Loss。此外,本文还讲解了如何下载并加载数据集,并采用Fashion-MNIST数据集作为样例。原创 2022-09-14 20:47:28 · 1405 阅读 · 0 评论 -
【动手学深度学习v2】学习笔记03:线性回归、基础优化算法、线性回归实现
本文详细讲解了深度学习中线性回归和基本优化算法的相关知识,并进行了从零开始的线性回归实现和简洁的线性回归实现。其中,使用了构造模型、读取数据集、损失函数、优化器和随机梯度下降等相关的知识和代码实现。本文有详细充足的代码,读者可以跟着文中的代码进行练习。原创 2022-09-12 20:56:15 · 423 阅读 · 0 评论 -
【动手学深度学习v2】学习笔记02:线性代数、矩阵计算、自动求导
本文是本深度学习专栏的第二篇文章,讲解了深度学习相关的线性代数、矩阵计算和自动求导的知识,并且给出了相关的实现代码与常用函数。适合零基础的小白学习深度学习,即使基础较差,也可以跟着其中的代码和讲解一步步熟悉深度学习编程。原创 2022-09-10 16:01:06 · 595 阅读 · 0 评论 -
【动手学深度学习v2】学习笔记01:数据操作、数据预处理
最近着手学习深度学习,学习之余整理此学习笔记,以便后续复习,也希望能帮助到以后学习深度学习的同好。我观看的网课是李沐老师的[动手学深度学习v2](https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497),文章也是主要在李沐老师的课程学习中所记。读者可以通过前文链接直接进入李沐老师的B站主页观看原视频。本文章主要用于个人学习,非商用,如有侵权还请海涵,并联系博主删除。原创 2022-09-08 21:46:33 · 632 阅读 · 0 评论