深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇（已完结）

目录

1 前言：

2 吴恩达所有课程思维导图：

3 课程资料：

4 参考笔记及资源：

5 课程大纲：

6 第一课：神经网络与深度学习

7 第二课：改进神经网络：超参数调整、正则化和优化

8 第三课：构建机器学习项目

9 第四课：卷积神经网络

10 第五课：序列模型

---

1 前言：

由于本人在学习该门课程时已经具备了一些ML、DL方面的基础知识，因此为了避免记录冗余知识，节约时间，本文仅在前人笔记的基础上记录一些对本人而言较为重要的知识点（相当于查漏补缺吧，哈哈，大家可以选择性浏览）；

且吴恩达老师的课程教学基于tensorflow，但学术界目前最常使用的还是pytorch（本人经常用的也是pytoch），不过还是简单写了一下课程练习，记录在每节课的实战演练部分，仅供参考。

注：本人在学习过程中借鉴了大量@fengdu78的笔记，非常感谢这位博主及其团队优质笔记的帮助，本人主要是在其基础上记录一些对我而言较为重要的知识点、延申性质的课程补充内容以及部分实战篇。

1. 2017年八月初，吴恩达（Andrew Ng）在Coursera上推出了DeepLearning.ai的系列专项课程，该系列课程一共由5门课程构成；
2. 本课程使用语言为Python；
3. 本次课程使用的是tensorflow2；
4. 神经网络部分是用TensorFlow实现的，现在主流使用的是pytorch，建议看完这个学会原理后，再去看看李沐老师（或者小土堆）的视频，学习用pytorch的代码实现。 

本人之前也记录过吴恩达老师机器学习课程的笔记，参见：

深度学习入门指南——2022吴恩达学习笔记Coursera《Machine Learning》篇

从宏观上来讲 DeepLearning.ai 理论化内容要弱一点，偏重实际应用，而之前的机器学习由于是面向斯坦福学生的课程，所以理论深度要深一点。 总体来说两门课程都很值得去刷刷，入门的话可以从DeepLearning.ai 的头三门课程开始，想补一补基础理论可以从机器学习课程开始。

2 吴恩达所有课程思维导图：

学习推荐！吴恩达 AI 课程及学习路线最全梳理-CSDN博客

本次课程我们学习的是第三个模块——deeplearning.ai《深度学习专项课程》

3 课程资料：

教学视频：(强推|双字)2021版吴恩达深度学习课程Deeplearning.ai_哔哩哔哩_bilibili

参考资料：吴恩达在Coursera深度学习课程上的所有作业/实验的更新版本

4 参考笔记及资源：

笔记：

深度学习笔记-目录 (ai-start.com)

Coursera吴恩达《深度学习》课程总结（全）_吴恩达深度学习 笔记-CSDN博客

【Deeplearning.ai 】吴恩达深度学习笔记及课后作业目录-CSDN博客

我的「吴恩达深度学习笔记」汇总帖（附 18 个代码实战项目） - 知乎

资源：

吴恩达在Coursera深度学习课程上的所有作业/实验的更新版本

吴恩达深度学习2021年空白作业

黄海广团队——deeplearning.ai（吴恩达老师的深度学习课程笔记及资源）

5 课程大纲：

6 第一课：神经网络与深度学习

第一课：神经网络与深度学习-CSDN博客

主要内容：

• 从逻辑回归出发（逻辑回归实际上可以视为没有隐含层的神经网络，为下一节引出神经网络做了铺垫），期间插入了对Python编程的介绍（用Numpy进行向量化矩阵化的运算，jupyter note的使用）
• 实现一个浅层的神经网络的训练（单隐含层的神经网络，激活函数的选择，前向传播与误差反向传播算法，权值的初始化）
• 实现深层神经网络的训练（多隐含层的神经网络，超参数和参数）

7 第二课：改进神经网络：超参数调整、正则化和优化

第二课：改进神经网络：超参数调整、正则化和优化-CSDN博客

主要内容：

• 神经网络训练的一些技术（训练集测试集，偏差和方差，正则化，Dropout，归一化，梯度检查的方法）
• 神经网络训练的优化算法介绍（最小批梯度算法，指数平滑改进梯度算法，RMSprop, Adam, 学习率的选择）
• 超参数搜索方法，Batch Norm，多分类问题softmax函数，深度学习框架tensorflow

8 第三课：构建机器学习项目

第三课：构建机器学习项目-CSDN博客

主要内容：

• 机器学习的一些实践经验和技巧（human-level performance，误差分析，训练集测试集分布不一样，迁移学习，多任务学习，端到端学习）

9 第四课：卷积神经网络

主要内容：

第四课：卷积神经网络-CSDN博客

• CNN的基础内容（计算机视觉、图片边缘检测、卷积、池化等）
• AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等
• 目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等
• 人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等

10 第五课：序列模型

主要内容：

第五课：序列模型-CSDN博客

• RNN简介，不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
• 序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等