Logistic Regression
在deeplearning.ai课程中介绍了logistic回归
logistic回归模型
logistic回归主要是用于二分类问题。
下图是sigmoid函数的图像
那么y_hat表示在给定x的情况下y=1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
将两者合并可得:
损失函数
损失函数又叫做误差函数,用来衡量算法的运行情况,Loss function:
我们通过这个L称为的损失函数,来衡量预测输出值和实际值有多接近。
根据课程中的讲解,损失函数如下:
损失函数是在单个训练样本中定义的,它衡量的是算法在单个训练样本中表现如何,为了衡量算法在全部训练样本上的表现如何,我们需要定义一个算法的代价函数,算法的代价函数是对m个样本的损失函数求和然后除以m:
损失函数只适用于像这样的单个训练样本,而代价函数是参数的总代价,所以在训练逻辑回归模型时候,我们需要找到合适的w和b,来让代价函数 J的总代价降到最低。
实际上,损失函数和成本函数时基于最大似然估计推导得到的。
根据前面的概率公式:
对应的似然函数为:
对数似然函数为:
最大似然估计就是求l取最大时的参数值,为使用梯度下降法求解,课程中将成本函数取为下式:
梯度下降法(Gradient Descent)
在测试集上,通过最小化代价函数J(w,b)来训练参数w,b。
由于代价函数是一个凸函数,所以使用梯度下降法可以找到全局最优解。
通过下图的公式多次迭代,更新参数的值。
α表示学习率(learning rate),用来控制步长(step)。
整个梯度下降法的迭代过程就是不断地向左走,直至逼近最小值点。