逻辑回归logistic regression的概念已经被classification代替掉。
对于一个问题是否是logistic regression或classification已经不重要了。
回归和分类对比
1.回归问题
目标:使得pred=y
方法:减少pred和y的差距(pred和y的平方差)
2.分类
目标:最大化benchmar或accuracy等
方法1:减少dist(pθ(y|x),pr(y|x)),在θ条件上的y的条件概率分布与真实情况下的条件概率分布,使两者越接近越好
方法2:减少散度diviergence(pθ(y|x),pr(y|x))
问题
问题一:为什么不直接最大化accuracy
直接最大化accuracy会有以下两个问题
问题1:梯度为0,当数值weights变化时,accuracy没有变化。
对于分类,有一个阈值,假设阈值为0.5时,即使你的预测从0.4上升到0.49,更加接近真实值,但是因为没有超过阈值0.5,所以最后的accuracy值依然没有发生改变。相当于x变了,y没有变,y对x求的梯度为0.
问题2:梯度不连续,正确的数量不连续时。
当weights发生很小的变化时,也可能会跨过阈值,导致accuracy突变,使得梯度不稳定或者梯度爆炸。
问题二:为什么叫逻辑回归
使用sigmod
争议:(龙良曲老师总结)
MSE->regression
cross entropy->classification
使用两种不同方法求解loss,可以看作不同的问题