逻辑回归是一种有监督的分类模型,常用于二分类。
线性模型的公式是 y ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n y(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n y(x)=θ0+θ1x1+θ2x2+...+θnxn,及 y ( x ) = θ T x y(x)=\theta^Tx y(x)=θTx。将线性模型带入sigmod函数就是用于二分类的逻辑回归: y ( x ) = 1 1 + e − θ T x y(x)=\frac{1}{1+e^{-\theta^T x}} y(x)=1+e−θTx1,这里 y ( x ) y(x) y(x)的取值范围是(0,1),根据某个阈值可以将 y ( x ) y(x) y(x)分为0和1。这里的 y ( x ) y(x) y(x)是模型根据输入特征 x x x的预测值,和数据的真实值进行比较可以判断模型预测的准确性。
逻辑回归函数的 θ \theta θ需要根据训练数据进行求解, θ \theta θ的取值可以决定模型对数据的拟合效果,所以以 θ \theta θ为参数的模型在训练集上的预测准确率越大越好。
因此使用损失函数这个评估指标来衡量以 θ \theta θ为参数的模型拟合训练集时造成的信息损失的大小,用这个指标来衡量 θ \theta θ的优劣。
损失函数大小的含义:损失函数越小,模型在训练集上的拟合效果越好。逻辑回归的损失函数的公式如下:
J ( θ ) = − ∑ i = 1 m ( y i ∗ l o g ( y θ ( x i ) ) + ( 1 − y i ) ∗ l o g ( 1 − y θ ( x i ) ) ) J(\theta)=-\sum_{i=1}^{m}(y_i*log(y_{\theta}(x_i))+(1-y_i)*log(1-y_{\theta}(x_i))) J(θ)=−i=1∑m(yi∗log(yθ(xi))+(1−yi)∗log(1−yθ(xi)))
推导过程:
现在有 m m m个样本的数据集,其中一个样本 i i i由特征向量 x i x_i xi和真实标签 y i y_i y