一、Linear Regression
1.中文解释
线性回归。
2.模型思想
对于能够以f(xi) = wxi + b表达的线性模型,线性回归就是试图学得恰当得向量w和标量b,使得f(xi) ≈ yi,其中yi是真实输出。那只需要设计一个衡量f(xi)与yi的差异函数E(xi,yi,w,b),机器学习中称为代价函数或损失函数,然后使该对函数求得最小值,对应的w和b便是最终拟合的参数,这个过程称为线性回归模型的参数估计。
3.Loss函数
通常使用均方误差来计算代价,几何意义对应欧氏距离,结合上述的参数估计过程,可表达如下式:
(1)
4.训练算法
对于Loss函数分别对w和b求导,再令导数为0,求得w和b最优解的闭式解。
二、Logistic Regression
1.中文解释
其实应该叫logit回归比较贴近其模型思想,也就是对数几率回归,虽然名字是回归但实际是分类方法。
2.衍生