吴恩达深度学习日记1

今天开始记录一下吴恩达的深度学习教学视频学习总结，之前虽然已经看过一次了但是并没有能够较为深入的理解视频里面的内容，今天就再次进行学习。

今天的内容主要是听了logistic回归的部分：
1、logistic回归其实就是一个"y=sigmoid(wx+b)"的一个式子，其实可以直接理解为一个一元一次函数，但是考虑到这个模型的用处在于做一个二分类，所以直接使用“y=wx+b”不一定可以满足要求，而加上sigmoid函数之后就可以将结果值y固定在0~1之间了。(sigmoid(z) = 1/(1+(e^-z)))；

2、logistic回归损失函数：
这个损失函数的式子为L(y(预测)，y) = 1/2(y(预测) - y)^2,这个式子是一个预测值与实际值的方差，主要是用来计算预测值与实际值之间的差别的大小，仔细想一下，我们想要的结果就是想让我们的预测值和实际的值差别越小越好，所以这个式子表达的意思就很容易想通了。

3、接下来提出了一个新的损失函数：
L(y(预测)，y) = -(y*log(y(预测)) + (1-y)log(1-y(预测)))；为什么要提出一个新的损失函数呢？主要原因在于：我们需要使用损失函数为导向来学习我们模型的最优解，寻找最优解的方法为梯度下降法，当损失函数不是凸函数的时候，使用梯度下降法解得的解为局部最优解，不是最好的解，所以使用新的损失函数(凸函数)，可以求得最优解。(PS:这里的新损失函数功效和方差的功效是一样的，将y=1和y=0带入就可以发现，y=1时y(预测)=>1，y=0时y(预测)=>0)。

4、成本函数：
上面的损失函数强调的是单个的数据的预测值和实际值的差距。成本函数则是测量整个训练集的预测值和实际值的差距大小。J(w,b) = 1/m (所有样本的L(y(预测)，y)的和)。这个函数也作为参数学习的一个标准。

5、计算图：
整个逻辑回归的计算模式就是前向计算加反向计算，前向计算是从输入一直计算到输出，计算出“差值”,f反向计算则是使用前向计算得到的差值来计算导数，从而使用梯度下降法训练模型参数。这个对应到神经网络中就是经典的前向传播和反向传播。

今天的记录就到这里！