机器学习Python实现之线性模型

本文将详细解释线性分类的几个常用模型：线性回归、对数回归、对数几率回归，并简要介绍其优化方法。文末附有Python代码实现。如果问题，欢迎留言交流～

线性回归（linear regression）

模型

设样本表示为$d$维列向量$x$，其标记为$y$，记$\hat{x}=\left( \begin{matrix} x\\ 1 \end{matrix} \right)$，线性回归的基本模型：$y=f(x)=w^Tx+b=\hat{w}^T\hat{x}$。
令$\hat{X}=\left( \begin{matrix} x_0^T & 1\\ x_1^T & 1 \\ ...\\ x_{n-1}^T & 1 \end{matrix} \right)$，即每行是一个$\hat{x}^T$。则给定$\hat{w}$，训练集上的损失函数为：$\Vert \hat{X} \hat{w}-Y\Vert^2$，优化目标$\arg\min_{\hat{w}}\Vert \hat{X}\hat{w}-Y\Vert ^ 2$。

• 闭式解方法： w^=(X^TX^)−