常见机器学习模型之间的关系

一、Linear Regression

1.中文解释

线性回归。

2.模型思想

对于能够以f(xi) = wxi + b表达的线性模型，线性回归就是试图学得恰当得向量w和标量b，使得f(xi) ≈ yi，其中yi是真实输出。那只需要设计一个衡量f(xi)与yi的差异函数E(xi，yi，w，b)，机器学习中称为代价函数或损失函数，然后使该对函数求得最小值，对应的w和b便是最终拟合的参数，这个过程称为线性回归模型的参数估计。

3.Loss函数

通常使用均方误差来计算代价，几何意义对应欧氏距离，结合上述的参数估计过程，可表达如下式：

                                                                                                             (1)

4.训练算法

对于Loss函数分别对w和b求导，再令导数为0，求得w和b最优解的闭式解。

 

二、Logistic Regression

1.中文解释

其实应该叫logit回归比较贴近其模型思想，也就是对数几率回归，虽然名字是回归但实际是分类方法。

2.衍生