吴恩达深度学习课程学习笔记一

Week one

先讲讲一些基本概念

深度学习

有一位学者对深度学习的定义是这样的：计算机程序可以从经验E中学习某些类型的任务T和用来测试的P，它在任务T中的表现（由P测试）会随着经验E的提高而提高。

什么是神经网络？

谈到深度学习必然绕不开神经网络。一个最简单的神经网络可以如下图表示的一样。举一个简单的例子，假设我们要估计房价，房价跟许多因素相关，面积大小、地段、房间数量等等，把因素作为输入，房价作为输出，中间的神经网络的作用便是找出输入和输出之间的关系。对于复杂的网络中间通常多于一层。

神经网络是如何学习？

训练集

首先先了解一下训练集，对上面的房价估计的例子，我们可以定义一个集合X，它包含了很多个输入的例子，例如很多组【面积 地段 房间数量】的数据，并且与之相对应的很多个房价构成的集合Y。神经网络将基于这些数据去学习两者的关系，则该集合为训练集。如果用矩阵表示，X_mn 表示有n组数据，每组数据有n个特征的输入（通常将特征按列排放），Y是1xn矩阵。则Y和X之间可以用Y=wX+b 来表示，其中w，b是参数，就是神经网络的学习目标。

结构数据和非结构数据

如上述例子中的输入，是由一系列规则的，可以定义的数据组成的，则称为结构数据。而类似音频、图像等输入则是非结构的。

前向学习和后向学习

可以大致理解为，先假定一些参数w和b，用这些参数对输入X进行计算（此为前向学习），得到结果y_hat，将此结果与实际的y做比较，结果再返回来对w和b进行调整（此为后向学习）。不断调整w和b使得前向学习的结果与输出结果相近。

学习性能

深度学习和传统的机器学习都是基于数据的，通常下数据的增加能提升学习的效果。深度学习对于巨大的数据量时有很好的学习效果，但是在小数据量情况下可能表现不出色，甚至不及机器学习。如下图

一些碎碎念

在正式学习吴恩达老师的课程之前，也经常有接触到一些概念像卷积网络之类的，总觉得深度学习十分深奥难懂，而且有些虚无缥缈，觉得是离自己十分遥远的东西。也看到越来越多的老师也在研究这方面，有种万物皆可深度学习的感觉，所以自己对这方面一直不大感兴趣的。但是看了吴恩达老师的课之后一是觉得深度学习也并非特别难懂的东西，二是发现其真的应用广泛，对学习它有了兴趣和信心。真的很推荐吴恩达老师的课。