吴恩达深度学习Deep Learning学习笔记（1）-----DEEP LEARNING AND NEURAL NETWORK

What is a Neural Network?

根据何明编著. 大学计算机基础[M]. 南京：东南大学出版社, 2015.08. 第240页的定义：

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

这是一个运用"修正线性单元"ReLU由房屋大小估计房屋价格的模型,输入Size经过一定的函数输出Price，这可以看作一个神经元。

 如果将许许多多这样独立的神经元进行组合，就构成了这样简单的神经网络。感觉像是设计了一个实体，这个实体由四个输入接口还有一个输出接口组成。只要给到足够多的（x，y)，神经网络就可以精确生成从x到y的映射函数，这是一种监督学习（supervised learning）的方式。

Neural Network Example

 不同的架构适用于不同的情形，对于广告等等用的是标准架构的神经网络SNN；对于音频数据（一维时间序列）一般用循环神经网络RNN去处理；对于图像数据，一般用卷积神经网络CNN去处理；对于更复杂的情形，用混合神经网络处理。

Supervised Learning处理的数据类型

        结构化数据structured data和非结构化数据unstructured data

 神经网络的出现，使得计算机更容易去处理非结构化的数据。

Scale drives deep learning progress

结论：

1. 传统的机器学习方法在处理大规模数据的性能一般，随着数据规模的增长，处理性能逐渐进入平台期。
2. 深度学习神经网络在大规模数据处理的能力比传统机器学习更好，并随着神经网络规模的增大（拥有更多的隐藏单元，更多的参数和更多的连接），处理性能越大。
3. 要想提高神经网络的性能，要么训练一个更大的神经网络，要么投入更多数据或者进行算法上的创新