吴恩达《神经网络与深度学习》课程笔记

最新推荐文章于 2022-11-23 19:26:12 发布

sereasuesue

最新推荐文章于 2022-11-23 19:26:12 发布

阅读量252

点赞数

分类专栏： Python 深度学习文章标签：神经网络机器学习

本文链接：https://blog.csdn.net/sereasuesue/article/details/108880228

版权

Python 深度学习专栏收录该内容

70 篇文章 16 订阅

订阅专栏

这篇博客介绍了神经网络的基础概念，强调了深度学习在监督学习中的应用，如房价预测、图像识别（CNN）、语音处理（RNN）。此外，讨论了深度学习兴起的原因，包括数据量增长、计算能力提升和算法创新。文中还提到了构建深度学习模型的流程，并分享了第一章节的笔记链接。

摘要由CSDN通过智能技术生成

课堂笔记方便自己回忆

该专项课程的Coursera地址：https://www.coursera.org/specializations/deep-learning

什么是神经网络？

用神经网络进行监督学习

监督式学习与非监督式学习本质区别就是是否已知训练样本的输出y。在实际应用中，机器学习解决的大部分问题都属于监督式学习，神经网络模型也大都属于监督式学习。

应用实例

一般的监督式学习（房价预测和线上广告问题）--使用标准的神经网络模型

图像识别处理问题，我们则要使用卷积神经网络（Convolution Neural Network），即CNN。

类似语音这样的序列信号时，则要使用循环神经网络（Recurrent Neural Network），即RNN。

其它的例如自动驾驶这样的复杂问题则需要更加复杂的混合神经网络模型。

Structured Data通常指的是有实际意义的数据。例如房价预测中的size，#bedrooms，price等；例如在线广告中的User Age，Ad ID等。这些数据都具有实际的物理意义，比较容易理解。而Unstructured Data通常指的是比较抽象的数据，例如Audio，Image或者Text。

为什么深度学习会兴起？

在处理海量数据和建立复杂准确的学习模型方面，深度学习有着非常不错的表现。然而，在数据量不大的时候，例如上图中左边区域，深度学习模型不一定优于传统机器学习算法，性能差异可能并不大。

所以说，现在深度学习如此强大的原因归结为三个因素：

Data
Computation
Algorithms

其中，数据量的几何级数增加，加上GPU出现、计算机运算能力的大大提升，使得深度学习能够应用得更加广泛。另外，算法上的创新和改进让深度学习的性能和速度也大大提升。举个算法改进的例子，之前神经网络神经元的激活函数是Sigmoid函数，后来改成了ReLU函数。之所以这样更改的原因是对于Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，所以造成神经网络模型学习速度变得很慢。然而，ReLU函数在x大于零的区域，其梯度始终为1，尽管在x小于零的区域梯度为0，但是在实际应用中采用ReLU函数确实要比Sigmoid函数快很多。