机器学习主要的两个分类:有监督学习Supervise learning 、无监督学习Unsupervise learning;
有监督学习和无监督学习这两类的区分点在于:有监督学习给机器提供数据的同时会告知机器该数据所对应的值,而无监督学习则只是提供数据给机器,剩下的需要机器通过学习来对这些数据进行分类、评级,做一些预测或者其他的任务;
有监督学习:分类Classification 、 回归Regression。 【离散、连续】
无监督学习:聚类
Linear Regression hθ(x)=θ0+θ1*x;
1.cost function 代价函数
f(θ0 , θ1) = (1/2*m)∑(hθ(x) - y )^2 //求和是和数据集里面所有的数据
f(θ0 ,θ1) 被称为是代价函数 目的就是求解θ,使得代价函数取得最小值。
Question:如何对θ0 、 θ1 进行取值,
梯度下降 gradient Descent
局部最优
利用梯度下降法,沿着梯度下降最快的方向对变量θ0 、θ1进行更新;
α 控制的是每次下降的步长--下降的速率、学习速率learning rate
α的取值:太小--每次移动的距离很小,在达到最低值的时候会需要很多步的迭代;
太大--有可能会错过最低点额取值,甚至导致算法无法收敛;
梯度下降法:特征缩放--为了将特征值的参数范围约定到一个较小的范围内【有助于收敛】
标准方程 normal equation
利用线性代数的求解方程的方法对方程的参数进行求解
当数据量很大的时候,如果利用标准方程的方法来求解,其中涉及的运算量相当之大会很费时。