逻辑回归学习笔记

Logistic学习笔记

逻辑回归从头到尾推倒一遍:

(w和b以及x、y等均为向量;并且这是个二分类器)

首先对于输入:X 对应 标签 Y
假设X经过模型计算后输出Y’

定义sigmoid函数:

Y’ = 1 / (1 + e^(-z))

该函数能够将函数 Z = w * X +b 的输出 Z 映射到(0 , 1)范围内的输出,
即此时 Y’ 结果代表一个(0,1)之间的关于该输入 X 属于某个类别的概率预测

最后将 Y’ 和原始标签 Y 进行对比,比较模型给出的预测是否符合实际情况

这个两者 Y 和 Y’ 是否相符的评判需要一个标准,即一个数值来评判两者差距大小,只有
这个数值缩小的时候,才证明模型的优化向着合理的方向发展

对单个样本输出是否符合预期的评判使用 loss function ,w 的变化会导致loss function 输出的变化,从而根据loss function 输出的变化,修改w,反复这样过程得出最优解;

loss function 可以采用欧氏距离如 (Y - Y’) ^ 2 ,但是使用该方式得出的loss function图形存在上下波动,梯度下降法很可能陷入局部最小值中,因此普遍采用交叉熵:

f ( y ) = - (y * log(y’) + (1 - y) * log( 1- y’)

对样本整体进行评判采用cost function, cost function 对整体loss function 进行求和,是总体的成本(cost),因此要找到合理的w , b使得整体成本下降。
这里写图片描述

知道了cost, 如何根据它得出w如何更新?

w 更新规则-梯度下降:

w = w + a * d J(w) / dw

a 是学习率,代表每次梯度下降有多快,a 越大收敛越快,但越不精确。

最终的逻辑回归整体处理流程为:

这里写图片描述

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页