一、线性模型与回归
线性模型一般形式:f ( x )= w1x1+w2x2+...+wdxd + b ,
其中x=(x1, x2, ..., xd)是由d维属性描述的样本,其中 xi 是 x 在第 i 个属性上的取值。
向量形式可记为:f ( x )= wT x + b ,
其中w=(w1, w2, ..., wd)为待求解系数。
线性回归目的:学习一个线性模型以尽可能准确地预测实值输出标记。
二、最小二乘与参数求解
最小二乘法(Least Squares Method)是一种数学优化技术,它通过最小化误差的平方和来寻找数据的最佳函数匹配。在参数估计和回归分析中,最小二乘法广泛用于估计线性模型的参数。
参数求解的目标是找到 所求一个或多个的值,使得模型最好地拟合观测到的数据。
最小化均方误差:
最小二乘法:
一维数据线性回归目标:
多元线性回归目标:
三、对数线性回归
对数线性回归是一种变换形式的线性回归,其中一个或多个变量被取对数。这种转换通常用于处理非线性关系,使得模型更好地适应数据,特别是当数据呈现指数增长或当变量的分布是偏态的时候。对数转换可以帮助稳定方差、使数据更接近正态分布,或者线性化某些类型的非线性关系。
线性回归模型: y=f(x)=wx+b ,
可推广至: y=g(f(x))=g(wx+b) ,
其中g为单调可微函数。
例如设g(x)=ex,取y的对数,即lny,就可以得到对数线性回归模型:
四、Logistic回归
Logistic回归(Logistic Regression)是一种广泛使用的统计方法,用于建模和分析一个因变量与一个或多个自变量之间的关系,其中因变量是二进制的(即,它只有两个可能的结果,通常表示为0和1)。Logistic回归是线性回归的一种特殊形式,用于处理分类问题。
与线性回归模型不同,Logistic回归不是通过预测数值来进行回归的,而是通过概率来预测一个事件发生的可能性。它通过应用一个逻辑函数(Logistic function),也称作Sigmoid函数或Logit函数,将线性回归的输出映射到0和1之间的概率。
逻辑斯蒂函数(logistic/sigmoid function)——单调可微、任意阶可导
单位阶跃函数与sigmoid函数的比较:
极大似然法:极大似然估计(Maximum Likelihood Estimation,MLE)是一种基于概率理论的参数估计方法。它在统计学中被广泛应用,特别是在估计统计模型中的参数时。MLE的核心思想是选择使得观测到的数据出现概率(似然)最大的参数值作为最佳估计。
极大似然估计 Recap:
1.确定待求解的未知参数,如均值、方差或特定分布函数的参数等 ;
2.计算每个样本的概率密度;
3.假定样本i.i.d,则可根据样本的概率密度累乘构造似然函数;
4.通过似然函数最大化(求导为零),求解未知参数。
梯度下降:
梯度下降是一种迭代优化算法,用于找到函数的局部最小值。在Logistic回归的背景下,梯度下降用于最小化代价函数(Cost Function),这通常是似然函数的负对数。
Logistic回归优点:
1.无需事先假设数据分布;
2.可得到“类别”的近似概率预测(概率值还可用于后续应用);
3.可直接应用现有数值优化算法(如牛顿法)求取最优解,具有快速、高效的特点。