吴恩达老师课程总结

   吴恩达老师课程总结1：深度学习概论

 本文涵盖吴恩达老师第一周的课程内容，对深度学习相关知识和基本概念进行介绍和阐述，具体内容如下:

目录

1.1神经网络的概念

1.2用神经网络进行监督学习

1.3深度学习的兴起

1.1神经网络的概念

    随着AI日益博取眼球，方兴未艾，神经网络再度火热，谈及神经网络，首先我们要解决一个问题，什么是神经网络？在我看来，神经网络是一种强大的学习算法，这种算法受到人的大脑各个神经元如何共同工作从而解决一系列问题的启发，具体到我们学科的应用，神经网络是单个神经元的有机构成，单个神经元是可以看做一个基本的传递函数，我们有大量的输入，输出，经过学习从而由单个神经元本身自动得到从输入到输出的映射。

    什么是机器学习？机器学习是一种让计算机利用数据来进行各种工作的方法。即用足够多的训练集训练神经网络，机器学习的常用方法，主要分为监督学习(supervised learning)和非监督学习(unsupervised learning)。有关概念我们1.2节中进行论述

    什么是深度学习？深度学习是指实现机器学习的一种技术，在本文中指训练神经网络。

    下面我们举两个例子介绍单个神经元和神经网络。单个神经元以房子的价格为例，在其它条件相同的情况下，我们把房子面积作为输入（横坐标），房子价格（纵坐标）作为输出，进过训练后我们可以得到回归线性方程，考虑到价格非负性，我们采用修正线性单元（RELU）来描述输入和输出的关系，如下图所示

    在上面的例子中，输入为房子面积，neuron代表ReLU函数，输出为预测价格

多神经网络

    根据实际情况我们可知，房屋价格不仅仅取决于面积，还取决于其他因素，如卧室数目（#bedrooms）、邮编（zip code所在国家和地区）、富裕程度(wealth),在这里我们认为房子价格取决于家庭大小（family size），是否方便步行（walkability）和周围学校质量（school quality），如下图所示：

多神经网络

    上图中输入层（input layer）为面积大小、卧室数目、邮编和富裕程度，隐藏单元（hidden unit）为中间层和输出层，中间层（middle layer）指家庭大小、是否方便步行和周围学校质量，输出层（output layer）指房子价格

    由上例我们可以得知，单个神经网络仍然可以看做单个的传递函数，多神经网络可以看做是多输入多输出的传递函数，类似于空间状态方程来描述系统，所不同的是神经网络输入、中间变量和输出关系由自身训练确定，我们不需考虑中间层与变量的关系，建模后的神经网络我们给出输入即可获得相应输出

1.2用神经网络进行监督学习

    首先我们需要了解监督学习，机器学习的方法分为两种：监督学习和非监督学习。监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。

    非监督学习则是另一种研究的比较多的学习方法，它与监督学习的不同之处，在于我们事先没有任何训练样本，而需要直接对数据进行建模。

    在监督学习中，我们有数据集并且我们已经知道什么是正确的输出，已经知道输入和输出之间的模糊的关系，监督学习主要处理回归和分类问题，在回归问题中，我们将输入变量映射到连续方程中，期望得到连续的输出。在分类问题中，相应的，我们把输入变量映射到离散方程中，期望得到离散的输出。下面我们举例进行介绍

    上例均为监督学习的例子，例一房地产和例二网络广告使用SNN（Standar Neural Network），例三图像处理使用CNN（Convolution Neural Network）,例四语音识别和例五机器翻译使用RNN（RecurrentNeural Network），例六无人驾驶使用混合神经网络架构

    还有一种分类方式，根据所应用的数据不同，机器学习应用于结构化数据（Structured data）和非结构化数据（Unstructured data），结构化数据是指特征有明确定义的数据，如房地产数据库的房价，非结构化数据是指特征没有明确定义的数据，如像素、音频和文本等

1.3深度学习的兴起

    现有的盈利模式大多基于深度学习，深度学习的概念已有数十年，是什么原因使其近期兴起呢？我们一起寻找答案

首先我们看一个图：

    如图所示为算法性能和数据量的关系，纵坐标是指算法的性能（Performance），横坐标是指数据量的大小（Amount of labeleddata），上图分别显示了四种不同的神经网络，从上到下依次为large NN(Neural Network)、medium NN、small NN和traditionallearning algorithm（sum、logistic regression…），一开始数据较少，算法性能随数据增多而提升，在数据较少时，训练集下相差不大的情况下，不一定训练集较大的算法性能更好，近年来，随着大数据时代到来和社会数据化，数据大量增多而传统算法和小型神经网络和中型神经网络无法处理大数据，曲线逐渐趋于平缓，大型神经网络算法性能提升，优越性逐渐体现。

    近年来，由于社会数字化和科技迅速发展，我们拥有了大量的数据，运算速度提升，算法不断更新，在这三方面影响下，深度学习日益兴起。以算法更新为例，将SIGMOID函数更换为RELU函数可以提高计算速度，以提高运算速度为目标，算法进行不断的创新，提高的运算速度会从两方面来提高机器学习的性能：1、神经网络可以训练巨大的训练集2、可以训练大型的神经网络

我们也可以这样理解运算速度提高所带来的影响，训练神经网络的过程是一个循环的过程，如下图所示：

     一开始，你产生了一个想法，然后通过代码去实现它，进行试验后产生了改进的其它想法，再去通过代码验证，依次循环，高速的运算可以大大缩短循环的一周的时间，加快新算法的产生速度，从而提高学习效率。

    因此，我们有理由相信，在未来较长一段时间里，在大数据时代，随着运算速度进一步加快，算法的持续创新，深度学习会不断发展，也将有更广泛的应用