logit模型应用实例_机器学习笔记（二）——线性回归模型&线性分类模型

模型

一、线性模型（linear model）

（一）线性回归

1.一元线性回归

1.1公式表示：f（x）=wxi+b

向量形式

1.2线性回归模型的好处：简单、可理解

1.3线性回归模型因变量是离散变量的处理方法：

• • 如果属性是离散的，有序的，则可以编码为0-1-2……，例如西瓜的甜度由不甜-稍甜-特甜，之间有程度的加深，可以比较，因此可以编码为数字，大一点的数字意味着强度更高；
  • 如果属性是离散，非有序的，则可以进行“one-hot”独热编码，将结果变成k维向量进行回归。（如果编码为0123的话，机器学习会误以为有“序”的关系）

1.4使线性回归模型结果的误差最小化方法

• • 均方误差最小化，即最小二乘法，使得
    最小，将f（x）=wxi+b代入，即E(w,b)=
    最小化，转化成了
    对w,b求梯度，导数为0的点，得到闭式解（closed-form），套公式就可以求出w，b；

2.多元线性回归（multi-variate）

实际中可能需要拟合多个特征，同时考虑多个特征来预测输出，需要找到超平面去逼近结果

2.1公式: f(xi)=w

xi+b，xi=（xi1,xi2,xi3,xi4……）

2.2多元线性回归同样采用最小二乘法进行求解，对w，b进行求导，闭式解，这里涉及矩阵求逆，在处理高维数据时，闭式解不一定合适，可以根据实际情况选择梯度下降等其他优化方法。这里补充几个矩阵的基本知识: