机器学习中的算法-线性回归算法原理推导

原创文章,如需转载请保留出处
本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记

一. 线性回归算法概述
线性回归（Linear Regression）是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。

优点：结果具有很好的可解释性（w直观表达了各属性在预测中的重要性），计算熵不复杂。
缺点：对非线性数据拟合不好
适用数据类型：数值型和标称型数据

标称型：一般在有限的数据中取，而且只存在‘是’和‘否’两种不同的结果（一般用于分类）
数值型：可以在无限的数据中取，而且数值比较具体化，例如4.02,6.23这种值（一般用于回归分析）

1.1 线性回归

• 机器学习分有监督学习和无监督学习。
• 有监督学习分回归和分类。
  回归：通过数据最终预测出一个值。
  分类：根据样本特征对样本进行类别判定的过程。

1.2 解释
如何找出一条线，能解释额度和工资、年龄之间关系

1.3 通过数学讨论