一、线性回归算法
### --- 概述
~~~ 在正式进入到回归分析的相关算法讨论之前,
~~~ 我们需要对有监督学习算法中的回归问题进行进一步的分析和理解。
~~~ 虽然回归问题和分类问题同属于有监督学习范畴,但实际上,回归问题要远比分类问题更加复杂。
~~~ 首先是关于输出结果的对比,分类模型最终输出结果为离散变量,而离散变量本身包含信息量较少,
~~~ 其本身并不具备代数运算性质,因此其评价指标体系也较为简单,最常用的就是混淆矩阵以及ROC曲线。
~~~ 而回归问题最终输出的是连续变量,其本身不仅能够代数运算,且还具有更"精致"的方法,
~~~ 希望对事物运行的更底层原理进行挖掘。即回归问题的模型更加全面、完善的描绘了事物客观规律,
~~~ 从而能够得到更加细粒度的结论。
~~~ 因此,回归问题的模型往往更加复杂,建模所需要数据所提供的信息量也越多,进而在建模过程中可能遇到的问题也越多。
### --- 线性回归与机器学习
~~~ 线性回归是解决回归类问题最常使用的算法模型,
~~~ 其算法思想和基本原理都是由多元统计分析发展而来,但在数据挖掘和机器学习领域中,
~~~ 也是不可多得的行之有效的算法模型。
~~~ 一方面,线性回归蕴藏的机器学习思想非常值得借鉴和学习,并且随着时间发展,
~~~ 在线性回归的基础上还诞生了许多功能强大的非线性模型。
~~~ 因此,我们在进行机器学习算法学习过程中,仍然需要对线性回归这个统计分析算法进行系统深入的学习。
~~~ 但这里需要说明的是,线性回归的建模思想有很多理解的角度,
~~~ 此处我们并不需要从统计学的角度来理解、掌握和应用线性回归算法,
~~~ 很多时候,利用机器学习的思维来理解线性回归,
~~~ 会是一种更好的理解方法,这也将是我们这部分内容讲解线性回归的切入角度。
二、线性回归的机器学习表示方法
### --- 线性回归的机器学习表示方法
~~~ # 核心逻辑
~~~ 任何机器学习算法首先都有一个最底层的核心逻辑,当我们在利用机器学习思维理解线性回归的时候,
~~~ 首先也是要探究其底层逻辑。值得庆辛的是,虽然线性回归源于统计分析,
~~~ 但其算法底层逻辑和机器学习算法高度契合。
~~~ 在给定n个属性描绘的客观事物x=(x1.x2,x3,......,xn) 中,
~~~ 每个xn都用于描绘某一次观测时事物在某个维度表现出来的数值属性值。
~~~ 当我们在建立机器学习模型捕捉事物运行的客观规律时,
~~~ 本质上是希望能够综合这些维度的属性值来描绘事物最终运行结果,
~~~ 而最简单的综合这些属性的方法就是对其进行加权求和汇总,这即是线性回归的方程式表达形式: