《统计学习方法》笔记06：LR逻辑回归模型

1. LR初探

逻辑斯蒂回归模型，（logistic regression，LR）是我和队友在腾讯TSA比赛中使用的第一个模型，比赛开始和睿杰讨论过，他推荐先用这个模型，那时我们仨都是小白，也不知道套路，就这样做，结果大部分队伍第一个都会采用该模型。

我对LR模型的理解是，这是一个形式很简单的模型，对二分类问题来说：

$$P(y=1|x)=\frac{1}{1+e^{-(wx+b)}}$$
其中x为N维特征组成的向量，(w,b)为N维参数，两者做点积，得到的结果放进LR模型中得到概率。LR模型的图为：

通过训练集学习到w参数，然后对测试集，用上述公式计算其属于正类的概率。w可以看出每个特征的贡献度，w值越大，则该项正类贡献越大，点积值越偏向于正类，否则为反类。即该模型有很好的可解释性。

当然LR模型本质上为线性模型，因为学习的核心结果是(wx+b)，这就是线性模型，只不过用LR将其值映射到概率0-1的空间中，比较符合很多问题的要求。

如果我们想增加1维特征，也非常简单，这意味着w参数多一维而已。而且为了使得模型具有非线性能力，我们可以使用one-hot对特征进行处理。举例来说，某个问题中使用了用户的年龄属性[0-80]，如果我们仅使用一维w来与年龄点乘，则为一条直线模型。如果年龄40-50岁与结果是正相关，0-40与50-80都是负相关，则反映不出来；此时采用one-hot处理，将年龄划分为10岁一段共分8段，每段一个w权值，这样就可以反映出不同年龄段的不同权重大小。而LR对这些操作有很好的接纳和解释。

2. 逻辑斯蒂分布

以上是我的初步理解。根据《统计学习方法》第6章将LR整理如下。

设X是连续随机变量，假如X具有如下分布函数和密度函数：

$$F(x)=P(X\le{x})=\frac{1}{1+e^{-(x-\mu)/\gamma}}$$
$$f(x)=F^,(x)=\frac{e^{-(x-\mu)/\gamma}}{\gamma\cdot{(1+e^{-(x-\mu)/\gamma})^2}}$$
则称X服从 逻辑斯蒂分布。其中 $\mu$为位置参数， $\gamma$为形状参数。

F(x)图像见下图，$\gamma$越小，形状越陡。

密度函数f(x)的图像见下图：

3. 二项逻辑斯蒂回归模型

1.模型定义

分类模型，由条件概率分布P(Y|X)表示，形式为参数化的LR的分布。X的取值为实数，Y的取值为1/0。通过监督学习方法来估计模型参数。