统计学习方法笔记---逻辑斯蒂回归

逻辑斯蒂回归

机器学习实战的代码详见：https://editor.csdn.net/md/?articleId=105162141
sklearn中的逻辑斯蒂回归详见：https://blog.csdn.net/leemusk/article/details/103111878

基本概念

几率（odds）：一个事件发生的概率与时间不发生的概率的比值。
$$\frac{p}{1-p}$$
对数几率（log odds）
$$log\frac{p}{1-p}$$

1 优缺点

优点：

1. 计算代价不高
2. 易于理解和实现

缺点：

1. 容易欠拟合
2. 分类精度可能不高

2 基本概念及结论推理

1. 逻辑斯蒂回归模型属于对数线性模型。

2. 逻辑斯蒂回归是判别模型，返回的是一维向量，第i个值代表第i个类发生的条件概率值。比较条件概率值的大小，将实例分到概率值较大的那一类。

3. 逻辑斯蒂回归模型是由以下条件概率分布表示的分类模型。逻辑斯蒂回归模型可以用于二分类问题或多分类问题。

   以下$x$为输入特征，$w$为特征的权值。公式中的 $w$ 包括 $b$ ,将其作为 $w_0$ , $w_i$表示预测该样本为第$i$类的特征的权值，通过最优化方法获取。
   逻辑斯蒂回归模型源自逻辑斯蒂分布，其分布函数$F(x)$是$S$形函数。逻辑斯蒂回归模型是有输入的线性函数表示的输出的对数几率模型。

   二分类：
   $$\begin{gathered} P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)} \\ P(Y=0|x)=\frac{1}{1+exp(w\cdot x)} \end{gathered}$$
   在二分类问题中，存在sigmoid激活函数：$\frac{1}{1+exp(-z)}$：
   
   当z越接近于正无穷，函数值（预测值）h 越接近于1，当z越接近于负无穷，函数值（预测值）h 越接近于0; 在逻辑斯蒂回归算法中，$z=w\cdot x$。给定某一个阈值 x（0~1），当h >= x时，输出1， 当h < x时，输出0。

   多分类：
   $$\begin{gathered} P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)},k=1,2,...K-1 \\ P(Y=K|x)=1+{\sum }_{} \end{gathered}$$