逻辑斯蒂回归

一、线性模型与回归

线性模型一般形式：f ( x )= w1x1+w2x2+...+wdxd + b ，

其中x=(x1, x2, ..., xd)是由d维属性描述的样本，其中 xi 是 x 在第 i 个属性上的取值。

向量形式可记为：f ( x )= wT x + b ，

其中w=(w1, w2, ..., wd)为待求解系数。

线性回归目的：学习一个线性模型以尽可能准确地预测实值输出标记。

二、最小二乘与参数求解

最小二乘法（Least Squares Method）是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。在参数估计和回归分析中，最小二乘法广泛用于估计线性模型的参数。

参数求解的目标是找到 所求一个或多个的值，使得模型最好地拟合观测到的数据。

最小化均方误差：

最小二乘法：

一维数据线性回归目标：

多元线性回归目标：

三、对数线性回归

对数线性回归是一种变换形式的线性回归，其中一个或多个变量被取对数。这种转换通常用于处理非线性关系，使得模型更好地适应数据，特别是当数据呈现指数增长或当变量的分布是偏态的时候。对数转换可以帮助稳定方差、使数据更接近正态分布，或者线性化某些类型的非线性关系。

线性回归模型： y=f(x)=wx+b ，

可推广至： y=g(f(x))=g(wx+b) ，

其中g为单调可微函数。

例如设g(x)=ex，取y的对数，即lny，就可以得到对数线性回归模型：

四、Logistic回归

Logistic回归（Logistic Regression）是一种广泛使用的统计方法，用于建模和分析一个因变量与一个或多个自变量之间的关系，其中因变量是二进制的（即，它只有两个可能的结果，通常表示为0和1）。Logistic回归是线性回归的一种特殊形式，用于处理分类问题。

与线性回归模型不同，Logistic回归不是通过预测数值来进行回归的，而是通过概率来预测一个事件发生的可能性。它通过应用一个逻辑函数（Logistic function），也称作Sigmoid函数或Logit函数，将线性回归的输出映射到0和1之间的概率。

逻辑斯蒂函数（logistic/sigmoid function）——单调可微、任意阶可导

单位阶跃函数与sigmoid函数的比较：

极大似然法：极大似然估计（Maximum Likelihood Estimation，MLE）是一种基于概率理论的参数估计方法。它在统计学中被广泛应用，特别是在估计统计模型中的参数时。MLE的核心思想是选择使得观测到的数据出现概率（似然）最大的参数值作为最佳估计。

极大似然估计 Recap：

1.确定待求解的未知参数，如均值、方差或特定分布函数的参数等 ；

2.计算每个样本的概率密度；

3.假定样本i.i.d，则可根据样本的概率密度累乘构造似然函数；

4.通过似然函数最大化（求导为零），求解未知参数。

梯度下降：

梯度下降是一种迭代优化算法，用于找到函数的局部最小值。在Logistic回归的背景下，梯度下降用于最小化代价函数（Cost Function），这通常是似然函数的负对数。

Logistic回归优点：

1.无需事先假设数据分布；

2.可得到“类别”的近似概率预测（概率值还可用于后续应用）；

3.可直接应用现有数值优化算法（如牛顿法）求取最优解，具有快速、高效的特点。