吴恩达深度学习第一课（神经网络与深度学习基础）--第二周神经网络基础

第二周神经网络基础

$过程：输入x，计算机通过一系列计算，得出\hat{y}，我们希望计算而来的\hat{y}与期望中的y无限接近。$
$举个例子，给计算机输入一张猫猫的图片，计算机得出一个结果\hat{y}，我们希望\hat{y}无限接近期望中的结果‘猫猫’。$
$所以我们用损失函数将\hat{y}转化为0-1的概率值，但损失函数针对单个样本，而成本函数针对所有样本的损失函数和。$

logistic回归

$输入一个64\ast 64的图片，计算机将此图片存储为大小为64\ast 64\ast 3=12288大小的特征向量n_x=\left[\begin{array}{c}.\\ .\\ .\\ .\end{array}\right]。（x,y），x\in R^{n_x}，y\in 0,1，m_{train}=(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots ,(x^{(m)},y^{(m)}),m_{test}。$
$若x=\left[\begin{array}{ccccccc}{x}^{(1)}& & x^{(2)}& & \dots & & x^{(m)}\end{array}\right]，则x=R^{n_x\ast m},x.shape=(n_x,m)。$
$若y=\left[\begin{array}{ccccccc}{y}^{(1)}& & y^{(2)}& & \dots & & y^{(m)}\end{array}\right],则y\in R^{1\ast m},y.shape=(1,m)。我们希望\hat{y}无线接近y，则\hat{y}\in (0,1)，x\in R^{n_x},w\in R^{n_x},b\in R,\hat{y}=\delta (w^{T}x+b),\delta (z)=\frac{1}{1+e^{-z}}。$
$若z\uparrow ，则\delta \approx \frac{1}{1+0}\approx 1;$
$若z\downarrow ，则\delta \approx \frac{1}{x+\infty }\approx 0。$

损失函数loss function

$lossfunction:L=(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2，但通常使用L=-(y{\log }_2\hat{y}+(1-y)lo{g}_2(1-\hat{y}))。$
$若y=1，L(\hat{y},y)=-ylo{g}_2\hat{y},希望lo{g}_2\hat{y}\uparrow ,则\hat{y}\uparrow 。$
$若y=0，L(\hat{y},y)=lo{g}_2(1-\hat{y}),希望log(1-\hat{y})\uparrow ，则\hat{y}\downarrow$

$$梳理：为何使用损失函数？来衡量单个样本预测输出值\hat{y}和y的实际值有多接近。$$

成本函数cost function

$costfunction:J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^i)=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}lo{g}_2{\hat{y}}^{(i)}+(1-y^{(i)})lo{g}_2(1-{\hat{y}}^{(i)})].$

$$梳理：为何使用成本函数？来衡量所有样本的损失函数和。$$

梯度下降

$$J(w,b)w=w-\alpha \frac{\partial J(w,b)}{\partial w};b=b-\alpha \frac{\partial J(w,b)}{\partial b}$$
$其中，\alpha 是learningrate学习率，可以控制每一次迭代或梯度下降法的步长。$
$其中，\frac{\partial J(w,b)}{\partial w}是对w偏导。$
上述公式，可以看出这是三维空间的立体图形，通过不断修正w和b，使得w和b最终归到图形中最凹点或最凸点处。
$$梳理：为何使用梯度下降？为了训练或学习训练集上的参数w,b$$

计算图

举例，J(a,b,c)=3(a+bc),令u=bc,v=a+u,J=3v。采用链式法则，从j倒退a，b，c的导数，这个过程，就是计算图。

向量化

省略显示for循环，用python中的numpy中的向量来替换，在数据量很大的时候，运算速度可以显著提高。