深度学习1

深度学习 （源自吴恩达课程）B站上的吴恩达课程

一、深度学习概论
p2 什么是神经网络
先举一个简单的例子：给了房子的价格，房子的面积，让你构建一个回归函数从而可以根据房子的面积预测房子的价格。我们构建的回归函数就是一个神经元。

我们把 size 看成x，把 price 看成是y，回归方程就是一个神经元，输入x（面积）通过 神经元（回归方程）最后输出y（价格）

一开始是直线，后来上升的直线。这个函数被称为ReLU函数（全程叫做修正线性单元，修正是指数值不能小于0）

神经网络就是把单一的神经元组合起来，我们来看下面这个例子
现在我们有更多的参数了，房子的面积、卧室数量、邮政编码、富裕程度这些都是X（这一层叫输入层），我们想要得到的Y依然数price价格（这一层叫输出层）。
房子的面积、卧室的数量影响家庭人口、邮政编码影响步行化程度，邮政编码和富裕程度影响教学质量； 家庭人口、步行化程度、教学质量影响价格。
所以家庭人口，步行化程度、教学质量这些都是由每个神经元输出的小结果，同时也将作为下一个神经元的输入值，所以除了X、Y之外的所有组成神经系统。而且神经系统的好处在于 我们只需给出X系统自动会输出Y，不用我们进行计算。


中间小圈叫隐藏神经元，我们不规定隐藏神经元是什么以及他们的先后顺序，我们只管输入具体怎么计算由神经系统自己决定。只要我们给入足够多的X和Y，神经系统特别擅长于计算从X到Y的精准映射函数。
p3 用神经网络进行监督学习
在图像领域我们用到的大都是卷积池化网络（简称CNN）
机器学习被用于结构化数据和非结构化数据。
结构化数据是数据的数据库，例如在房价预测中，你可能有一个数据库或者数据列告诉你房间的大小和卧室的数量，这些就是结构化数据；

相反的非结构化数据指的是，比如音频、原始音频、图像、想要识别的图像或文本中的内容

p4 为什么深度学习会兴起
画张图理解一下，横轴代表完成任务的数据数量、竖轴代表机器学习算法的性能（比如垃圾信息的过滤率）。
红色表示传统学习算法的表现，黄线表示小的神经网络，蓝色表示中等的神经网络，绿色的表示更大的神经网络。训练的神经网络越大所需要的神经网络的规模越大、其中的隐藏的神经元越多，所投入的数据越多 。（补充一点，m表示训练集的规模，即横坐标）
有些算法学习时不需要规模特别大的，在给它们训练时，不一定是神经网络的优势更明显。只有在大数据的时候，神经网络才可以展现它的优势。
本章最后补充：增加训练集的大小通常不会影响算法的性能，而且可能会有很大帮助；增加神经网络的规模通常不会影响算法的性能，而且可能会有很大帮助
二、神经网络基础
p7 二分分类
本节课我们会说到在神经网络或logistic回归中要用到的符号
要求给一张图片后有两个输出结果，是猫输出1、不是猫输出0。计算机会把这张图片分为三个途径，一个是红、一个是0绿、一个是蓝，变成三个6464的界面，我们把这些像素值都提出来放入一个特征向量X里面，我们把X列出来。先把红的全列出来，再把绿的列出来，最后是蓝的，最后得到一个很长的特征向量。如果照片是6464的，那么向量X的总维度是64643=12288，因为这是三个矩阵的元素数量。我们会用n表示输入的特征向量的维度。
在二分分类问题中，目标是训练出一个分类器，它以图片的特征向量X作为输入，预测输出的结果Y是1还是0

用一对(x,y)来表示一个独立的样本，x是nx维的特征向量，y的值是0或1。训练集由m个训练样本组成，(x1,y1)表示样本一，（x2，y2）表示样本二，一直到最后（xm，ym）样本，这些共同构成一个样本集，用m来表示训练样本的个数（有时候为了强调，这是训练样本的个数可以写作m=m_train；有时候当说到测量集时，我们会用m下标test来表示测量集的样本数）。

最后我们用更加紧凑的符号代表训练集：我们定义一个矩阵，用大写的X表示；它的列是由训练集中的x1（这里的1是上标，后面的相同）、x2、……xm组成，所以一共有m个列，它的高度由nx（x为下角标）表示。在python中d的X.shape=（nx（x