LR--逻辑蒂斯回归的学习

二项logistic回归模型

二项逻辑蒂斯回归，简称逻辑回归，也被称为对数几率回归，在回归模型中引入sigmoid函数，构成非线性回归模型，将回归模型的预测值利用单位阶跃函数，将预测值转换为离散值。

模型的表示：

sigmoid函数

在一定程度上接近单位阶跃函数，但其单调可微，以替代单位阶跃函数的不连续。

sigmoid函数的性质

1. 概率形式输出。sigmoid函数是单调递增的，其值域为(0，1)，因此使sigmoid函数输出可作为概率值。

2. 数据特征加权累加。 数据特征加权累加。对输入𝑨取值范围没有限制，但当𝑨大于 一定数值后，函数输出无限趋近于1，而小于一定数值后， 函数输出无限趋近于0。特别地，当𝑨 = 0时，函数输出为0.5。这里𝑨是输入数据𝑦和回归函数的参数𝑥相乘结果（可视为𝒚各维度进行加权叠加）

3. 非线性变化。 非线性变化。𝒚各维度加权叠加之和结果取值在0附近时，函数输出值的变化幅度比较大（函数值变化陡峭），且是非线性变化。但是，各维度加权叠加之和
   结果取值很大或很小时，函数输出值几乎不变化，这是基于概率的一种认识与需要。

对数几率函数

对x作为正例可能性取对数得到线性回归模型,x为正例的概率越大，几率取值就越大,线性回归模型输出结果去逼近（拟合）真实标记结果的对数几率。对数几率回归模型的输出y可作为将输入数据𝒚分类为某一类别概率的大小。

因此模型的分类决策：

参数估计

代价函数

最⼩化代价函数求得参数(w*,b*) 即可

求解参数

梯度下降法求解参数，如小批量梯度下降法：

多项逻辑蒂斯回归

logistic回归只能用于解决二分类问题，将它进行推广为多项逻辑斯蒂回归模型(multi-nominal logistic model，也即softmax函数)，用于处理多类分类问题，可以得到处理多类分类问题的softmax回归。

模型的表示

代价函数

多分类的损失函数是二分类损失函数在多类别下的变式
通过梯度下降法，求解参数即可

分类决策

或者也可以带入到预测类别概率表达式中，

softmax回归的其他形式

相⽐于前⾯所述的多项逻辑斯蒂回归它的形式更加简单，但冗余了⼀组参数，因为最后一类可以其他的类推导出来。

LR和SVM的区别

详见：https://blog.csdn.net/BGMcat/article/details/121063513