逻辑回归是一种有监督的分类模型，常用于二分类。
线性模型的公式是 y ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ n x n y(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n y(x)=θ0+θ1x1+θ2x2+...+θnxn，及 y ( x ) = θ T x y(x)=\theta^Tx y(x)=θTx。将线性模型带入sigmod函数就是用于二分类的逻辑回归： y ( x ) = 1 1 + e − θ T x y(x)=\frac{1}{1+e^{-\theta^T x}} y(x)=1+e−θTx1，这里 y ( x ) y(x) y(x)的取值范围是（0，1），根据某个阈值可以将 y ( x ) y(x) y(x)分为0和1。这里的 y ( x ) y(x) y(x)是模型根据输入特征 x x x的预测值，和数据的真实值进行比较可以判断模型预测的准确性。
逻辑回归函数的 θ \theta θ需要根据训练数据进行求解， θ \theta θ的取值可以决定模型对数据的拟合效果，所以以 θ \theta θ为参数的模型在训练集上的预测准确率越大越好。
因此使用损失函数这个评估指标来衡量以 θ \theta θ为参数的模型拟合训练集时造成的信息损失的大小，用这个指标来衡量 θ \theta θ的优劣。
损失函数大小的含义：损失函数越小，模型在训练集上的拟合效果越好。逻辑回归的损失函数的公式如下：
J ( θ ) = − ∑ i = 1 m ( y i ∗ l o g ( y θ ( x i ) ) + ( 1 − y i ) ∗ l o g ( 1 − y θ ( x i ) ) ) J(\theta)=-\sum_{i=1}^{m}(y_i*log(y_{\theta}(x_i))+(1-y_i)*log(1-y_{\theta}(x_i))) J(θ)=−i=1∑m(yi∗log(yθ(xi))+(1−yi)∗log(1−yθ(xi)))
推导过程：
现在有 m m m个样本的数据集，其中一个样本 i i i由特征向量 x i x_i xi和真实标签 y i y_i y
最低0.47元/天 解锁文章
1391
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
