【李沐-动手学深度学习】学习笔记大总览 000

学习计划表格

下面可以作为每天学习的一个打卡监督工具，作为每天学习的方案知道

• 时间：我需要投入多长时间来学习这个内容
  投入时间 5个月时间
  • 开始时间 ：20230106
  • 学习进度与任务：
    • 任务1
    • 任务2
  • 结束时间 ：20230618
• 资源来源
  推荐的三个来源：
  人、书、网
  • 社交媒体

资料记录交代

很多内容就是在goodnotes上，详细可以参照其中的学习笔记slides
部分关于代码内容的理解上可以参照无边记，利用手稿来对其中的顺序操作进行逻辑梳理

学习方法

不会的内容可以多参照评论区，更好的补充内容与相关的优秀资源
注意利用无边记来进行相关内容的推导
完全弄懂的话就从头开始理解代码
写注释！！！

三句话总结：

• 看授课视频形成概念，发现个人感兴趣方向。
• 读课程笔记理解细节，夯实工程实现的基础。
• 码课程作业实现算法，积累实验技巧与经验。

---

动手学深度学习在线课程

下面是课程的基本内容描述

课时
2021年3月20日 — （预计）7月
直播时间
北京时间每周六、日下午 1:00 — 2:30
直播地址
机器之心
视频回放
B站
教材
zh-v2.d2l.ai

这可能是第一本这样在线编写的书籍

参考资料:
Miraclelucy/dive_into_deep_learning: ✔️李沐 【动手学深度学习】课程学习笔记：使用pycharm编程，基于pytorch框架实现。 (github.com)

作者利用jupyternotebook 转换成了.py

课程评价：非常棒！！

---

全书内容结构

---

前言

良好的python教程
https://learnpython.org/

本笔记目录

笔记持续更新，后续[]会替换成超链接笔记内容

符号补充知识

首先要对符号进行梳理对论文和书本上的代码才明白
[[符号补充知识]]

深度学习基础

[[03安装]]
[[6矩阵运算]]
[[7自动求导]]
[[13丢弃法]]
[[14数值稳定性(懵)]]
[[15实战kaggle比赛]]

卷积神经网络

[[17使用和购买GPU]]
[[18竞赛总结]]
[[19-卷积]]
[[20-填充和步幅]]
[[21-多输入与多输出]]
[[22-池化层]]
[[23-经典卷积神经网络lenet]]
[[24-深度卷积神经网络alexnet]]
[[25-使用块的网络VGG]]
[[26-网络中的网络]]
[[27-含并行结构的网络]]
[[28-批量向量化]]
[[29-残差网络]]
[[30-第二部分完结竞赛]]

计算机视觉

[[31深度学习硬件]]
[[33单机多卡并行]]
[[34 多GPU训练]]
[[35 分布式计算]]
[[36 数据增广]]
[[37微调]]
[[38 树叶分类结果]]
[[39 实战kaggle比赛CiFAR10]]
[[41 物体检测和数据集]]
后续由于暂时不涉及，暂时先不看

[[46 语义分割]]
[[47 转置卷积]]
[[48 全连接卷积神经网络]]
[[49 样式迁移]]
第三次竞赛：牛仔行头检测

注意：手写label和train就会明白很多！！！

[[51 序列模型]]

如果后面需要部分，可以根据章节再进行补充
建议自己写一遍，拆开写那些循环

[[52 文本预处理]]
[[53 语言模型]]

循环神经网络

后续工作如果需要的话利用RNN代码逐行学习

把RNN代码从零开始看懂，每一行都看懂，后面就可以跳着看了，代码通用性极高!!!
后面学习LSTM主要学习李沐大神讲解的RNN的结构
RNN很关键！！！

[[54 循环神经网络RNN]]
[[55 循环神经网络RNN的实现]]

学习代码的过程就是不断拆分小块解决问题
手打代码！，印象深刻

[[56 门控循环单元]]
[[57 长 短 期记忆网络(LSTM)]]
[[58 深层循环神经网络]]
[[59 双向循环神经网络]]
[[60 机器翻译数据集]]

注意力机制

[[61自编码]]
[[62seq2seq]]
[[63 束搜索]]
[[64 注意力机制]]

在RNN,GRU这块代码中注意先从简单的数据集开始尝试然后再结合进行推导，
注意 向量化过程： 标量数据——>向量

[[65 注意力 分数]]
[[66 使用注意力机制的seq2seq]]
[[67 自注意力]]

沐神：本身很好用

只要是序列数据

[[68Transformer]]

[[69 BERT预训练]]
[[70 Bert微调]]
[[72 参数优化]]
[[73- 课程总结和进阶学习]]

---

李沐 pytorch的基础搭建

16 PyTorch 神经网络基础【动手学深度学习v2】_哔哩哔哩_bilibili

这部分阐述了一些搭建网络的常见操作嵌套/顺序,循环

[[李沐 pytorch搭建1 模型构造]]

[[李沐 pytorch搭建2 参数管理]]

注意上面这节内容包含了共享权重，非常关键！！！
如果需要对卷积部分进行相关理解，需要重点参照

[[李沐 pytorch搭建3 自定义层]]

[[李沐 pytorch搭建4 读写文件]]

利用读写文件可以明白其中的参数保存，指导任何利用别人的数据

[[李沐 pytorch搭建5 Q&A]]

课程中的疑难点

一些内容还在草稿纸和无边记上，重点对易混淆搭建过程中的内容进行相关梳理

[[李沐 pytorch命令]]
[[李沐 embedding和onehot]]
[[李沐 端到端学习]]
[[李沐 seq2seq]]
[[李沐 pretrained]]
[[李沐 特殊代码写法]]

[[densenet]]
[[Jupternotebook]]
[[补充知识 深度学习中的【拼接】]]

补充材料

补充参考的模型实现材料

下面是整理好的关于pytorch神经网络搭建的过程连接
http://www.feiguyunai.com/index.php/2019/09/11/pytorch-char03/

---

李沐的学术习惯

[[李沐读论文和整理论文]]