今天开始将进入机器学习的回归算法部分,首先介绍一下回归部分涉及到的知识点。
一、大纲
1、线性回归
预测连续值的方法。
2、Logistic回归
名曰回归,实际上是处理分类的方法。即处理离散值,是一个二分类的算法。
3、Softmax回归
基于Logistic回归的一种衍生。Logistic回归只能解决二分类的问题,Softmax回归可以解决多分类的问题。
4、梯度下降
梯度下降法是高等数学中的知识点,解决的问题是:对于任意一个目标函数,观测当函数取得极值点时,对应的自变量是多少。
在机器学习中的运用场景是:解决代价函数取得极小值点时,参数θ的取值。
5、Lasso回归
特征抽取、特征选择。
二、什么是回归算法
回归算法是一种有监督的算法。(有预测目标)
回归算法是一种用来构建自变量和应变量之间关系的算法,在机器学习中,应变量是目标值,自变量是特征。回归算法最后得到的是一组特征前的系数,使模型能够尽可能拟合造物主公式。
三、一维到N维
1、一维模型
现在拥有一组房屋面积及其对应房价的数据( x1 =100,房子100平方米。)我们要预测面积和价格的映射关系,构建如下模型:
h(x) = θ0 + θ1x1