非线性回归 python_回归算法之非线性回归

起步

非线性回归是线性回归的延伸，线性就是每个变量的指数都是 1，而非线性就是至少有一个变量的指数不是 1。生活中，很多现象之间的关系往往不是线性关系。选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验。常用的曲线类型有 幂函数，指数函数，抛物线函数，对数函数和S型函数 。

化非线性回归为线性回归

通过变量代换，可以将很多的非线性回归转化为线性回归。比如目标函数假设是 y = b0 + b1x + b2x^2。那么另 z1 = x, z2 = x^2 。目标函数就变为 y = b0 + b1z1 + b2z2。就可以用线性回归来解方程了而用上一篇文章《回归算法之线性回归》就能解决线性回归的问题。常见的转化模型有：

逻辑回归

逻辑回归( Logistic Regression ) 是非线性回归中的一种，在分类问题上有的也能采用逻辑回归分类。这是一个二分类器。比如根据肿瘤大小判断其良性或恶性，线性方程显然不能胜任了：

逻辑回归模型中，先给定线性函数：

虽然这边是 θ 表示，但其实和线性回归中 b 是一个意思，都是作为自变量的系数。在二分类器中，经常需要一个分界线作为区分两类结果。再次需要一个函数进行曲线平滑化，由此引入 Sigmoid 函数进行转化：