Machine Learning 2 - 非线性回归算法分析

2017-08-02@erixhao  技术极客TechBooster

AI 机器学习第二篇 - 非线形回归分析。我们上文深入本质了解了机器学习基础线性回归算法后，本文继续研究非线性回归。

非线性回归在机器学习中并非热点，并且较为小众，且其应用范畴也不如其他广。鉴于此，我们本文也将较为简单的介绍，并不会深入展开。

非线性回归之后，我们会继续经典机器学习算法包括决策树，随机森林，逻辑回归，SVM，以及朴素贝叶斯分类算法，神经网络等介绍, 本文最后会有预览介绍。

目录

回归分析

线性回归

非线性回归

算法分析

非线性分类

线性变换

非线性模型

高斯-牛顿算法

多项式回归

小结

后续机器学习算法预览

---

1 回归分析

回归分析基本属于统计学范畴，通常是建立在大量观察数据基础上，利用数理统计方法，尝试建立因变量与自变量之间的回归函数关系，其中当只有因变量及一个自变量时，成为一元回归；当涉及两个或者多个自变量时候，成为多元回归；另外，按照自变量与因变量之间的函数表达式是线性还是非线性，分为线性回归和非线性回归。

线性回归

略微回顾一下我们前文的线形回归，简单来说，线性回归就是寻找一条最优的直线来拟合数据（可以扩展到多维），最优则通过数学上的最小二乘原理，有且只有一条直线函数，使得寻找的直线目前给定的函数值与模型预测值之差的平方和最小，即损失函数；当然其具体程序的算法实现则借鉴了数值计算的梯度下降法。