深度学习学习笔记

深度学习是机器学习中的一种，机器学习利用先事先建立好的数据模型

机器学习的定义：一个电脑程序要完成任务（T），如果电脑获取的关于T的经验（E）越多就表现（P）得越好

深度学习自动地找出这个分类问题所需要的重要特征！而传统机器学习则需要我们人工地给出特征！

深度学习用于创建人工“神经网络” ，可以自己学习和做出明智的决策。

逻辑回归：

利用庞大的训练集,特征X1，X2 ,结果值 ，从而算出 w和b

损失函数的函数值代表深度学习的度量值，函数值越接近1或0，说明越像某种特征。

梯度下降法:利用导数来表示每次经过训练后，w下降的步长。

 

非凸优化问题如何转化为凸优化问题的方法：
1）修改目标函数，使之转化为凸函数
2）抛弃一些约束条件，使新的可行域为凸集并且包含原可行域

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们  带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数。

 

 非凸函数中局部最优解太多，可能会导致无法收敛到全局最小值。引出需要找到一个非凸的代价函数。

需要重新定义代价函数为：，其中

 

第一种情况：y = 1 时，ℎ?(?)与 ????(ℎ?(?), ?)之间的关系图：

（1） 当实际的y = 1，且ℎ?(?) = 1 时：   cost = - log( ℎ?(?) ) = 0。就是说ℎ?(?)与实际情况y一致时，代价函数为0

（2） 当实际的y = 1，且ℎ?(?) ≠ 1 时：   随着ℎ?(?)的减小，cost = - log( ℎ?(?) ) 逐渐增大。也就是说ℎ?(?)与实际情况 y 之间相差越大，代价函数的值也就越大。 

 第二种情况：y = 0 时，ℎ?(?)与 ????(ℎ?(?), ?)之间的关系图：

（1） 当实际的y = 0，且ℎ?(?) = 0 时：   cost = - log( ℎ?(?) ) = 0。就是说ℎ?(?)与实际情况y一致时，代价函数为0

（2） 当实际的y = 0，且ℎ?(?) ≠ 0 时：   随着ℎ?(?)的增加，cost = - log( 1 - ℎ?(?) ) 逐渐增大。也就是说ℎ?(?)与实际情况 y 之间相差越大，代价函数的值也就越大。