2020-4-28 吴恩达DL学习-神经网络和深度学习Neural Network and Deep Learning-第一周 概论 Intrduction

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

第一周 概论 Intrduction

学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。

1.1 欢迎来到深度学习工程师微专业

1.2 什么是神经网络？

1.3 用神经网络进行监督学习

• 标准NN
• 图象识别：CNN（卷积）
• 语音识别，翻译：都是序列数据，使用RNN（循环）
• 自动驾驶：混合神经网络

利用NN，计算机可以更好的解释非结构化数据（图像，语音，文字）。

最好的算法可以同时适合学习结构化数据和非结构化数据。

1.4 为什么深度学习会兴起？

a. 因为大量数据被收集。规模（有许多隐藏单元的NN）推动了DL的进步。

要想让NN表现更好，要么训练一个更大的NN，要么投入更大的数据。
在大数据领域，NN明显领先于其他算法。

b. 硬件计算能力提高

CPU,GPU性能提高，提高的迭代速度，可以更快的得到实验效果，更快的改变想法

c. 算法的创新–增加计算速度

例如：使用梯度下降算法，传统ML的sigmoid函数在2边区域梯度会接近0，那么参数就会变化很慢，所以学习会变化的很慢。而DL的激活函数-线性修正单元ReLU，它的梯度对于所有正值的输入（竖轴的右边区域），输出都是1，因此梯度不会逐渐趋向0，这样可以是梯度下降算法运行的更快（注：竖轴的左边区域，梯度为0）。

1.5 关于这门课

1.6 课程资源

https://www.deeplearning.ai

课后作业