1机器学习分类
1.1监督学习 Supervised learning
(已知经验数据以及其对应的标签)
- 回归 regression (连续值)
- 分类 classidication(离散值)
1.2非监督学习 Unsupervised learning
(有以往数据,但不知道他们的分类)
- 聚类 clustering
- 非聚类 non-clustering
2单变量线性回归
2.1线性回归表示
(以房价为例,房价为连续值,所以是一个回归问题)
- 公式:
两个θ是位置参数,我们的目的是求出两个参数的值,从而得到一条拟合直线,让该拟合线能够更好地反应输入与输出的关系,是预测更加准确。
那么该如何求参数θ的值才能使得预测更加准确?(预测的准确性体现在预测值和真实值的误差尽量小)———引入代价函数(cost function)
2.2 cost function
- 定义:
-由此,我们的目的就是使得J(θ)取的最小值,就可以满足预测结果最佳。
那么,如何最小化J? 通过下图J与两个θ的关系 观察:
可以看到,通过不断地改变J(θ)的斜率,上图中心区域斜率最小,J(θ)最小。
3梯度下降 gradient descent
梯度下降:逐步最小化损失函数的过程,就是上图中不断使得函数斜率最小的过程。如同下山的过程,找准下山方向(梯度),每次迈进一步,直至山底(斜率为0)。如果有多个特征,对应多个参数θθ,需要对每一个参数做一次迭代。(注意theta的值需要同时更新)
- 公式:
学习率:上段公式中的α就是学习率。它决定了下降的节奏快慢,就像一个人下山时候步伐的快慢。α过小会导致收敛很慢,α太大有可能会导致不收敛,震荡。
(注意theta的值需要同时更新)
4总结
最简单的机器学习模型(单变量线性回归模型)可分为三步:
1)第一层 模型函数
2)第二层 代价函数
3)第三层 GD法求解参数