最后用sigmoid激活,这个过程就是logistic 回归
在这里插入图片描述
x1属于c1,那么fwb方程就是fwb(x1),x3属于c2,这不是c1则是1-fwb(x3),求出最大可能性的就是w和b
进行数学式上的转换,从找L(X)最大的,转换-log这样就是找最小的
把最小化的function写作一个对象
使用交叉熵,代表两个distribution有多接近
逻辑回归为什么不用平方差根
找最好的function
logistics regression 为什么不用均方差
距离目标远均方差微分小,一开始就卡主了,交叉熵梯度大。跑的快,用square来对
discriminative vs generative
logitiset是discrinmative,几率模型是generative
通常discriminative要高一点
dicriminative会受data量影响,data多error小,generative收data影响小
multi-class classification
softmax
max最大,softmax最大值强化。
limitation of logistic regression
画直线无法分类