机器学习十大经典算法

一、线性回归

线性回归是一种线性模型，线性模型基本形式如下，主要包括线性回归、对数几率回归、线性判别分析等几种经典模型。

1、模型函数

2、模型学习

我们可以使用不同的技术来从数据中学习线性回归模型，例如普通最小二乘法的线性代数解和梯度下降优化。

基于均方误差（平方损失，欧氏距离）最小化来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法就是试图找到一条直线，是所有样本到直线上的欧氏距离之和最小。

注：推导过程见二元线性回归最小二乘法公式推导

3、经验规则

我们可以删除非常类似（相关）的变量，并尽可能移除数据中的噪声。线性回归是一种运算速度很快的简单技术，也是一种适合初学者尝试的经典算法。

4、扩展

多元线性回归

对数线性回归

广义线性模型

 5、python实现

Python - 线性回归（Linear Regression) 的 Python 实现

二、逻辑回归（logistic回归）

1、模型函数

2、损失函数

逻辑回归 logistics regression 公式推导

3、python实现

机器学习-逻辑回归分析（Python）

参考文献

1、机器学习十大算法系列

2、机器学习必学10大算法

3、Machine Learning: 十大机器学习算法