李宏毅2020机器学习笔记3——logistic回归

logistic回归示意图

sigmoid激活函数。
这个图画的有一点神经网络的感觉。

这里用到了极大似然。
L 就是在各个x下，是已知分类的概率的乘积，使得这个L最大的w和b值，就是所求。

求max转换为求min
将C1 C2 分类转换为 0 1 分类，为了方便写成统一的式子
转换之后可以看出式子可以统一了

可以转换了，下图：

统一了形式，还引入了交叉熵的概念。


你离目标越远，你的步长就越大。

logistic回归与线性回归对比

logistic回归+square error

上面寻找最优时用的是极大似然，这里用平方误差和看一下。

square error：很远处走的也很慢很慢，可能很好几个小时都跑不出来结果。根本不知道你现在离目标值是近还是远。
cross entropy：很远处的梯度很大，步长很大。 步长小的时候往往离最优值很近。

往往根据这些调节learning rate 学习率，square error就无法根据什么信息来调节

logistic回归 多分类问题

用softmax将其输出值限制在[0,1]之间，且通过e的多少次方，会将所有z转换为非负数，并且，会将z之间的差距拉大，便于区分。

logistic回归的局限性

这种情况就无法分类了。
因为画出来的决策边界肯定是一条直线

怎么做？
特征转换