logistic回归
数学推导
logistic回归是机器学习中一个基础的用于分类的方法,在此讨论二类分类,训练集由带有标签1或0的样本集合X组成,我们需要学习的是一种映射关系
该映射关系的参数为,在logistic学习中,实际过程是学习合适的参数
使得预测值与的差越小。
上述过程即为最大似然估计法,也是logistic回归的损失函数的推导依据。下面详细说明整个过程。
logistic回归本质是一种线性回归,只是在分类的时候加入了非线性变换函数sigmoid()来使得可以和标签进行直接比较,这个非线性变换在深度学习中被称为激活函数,有多种选择方法。预测过程可以分为两步,均以矩阵来计算:
得到的即为学习的预测值,需要比较它和实际