机器学习浅识

梯度：

  单变量函数中，梯度是函数的微分，即变量所处点的切线的斜率；
  多元函数中，梯度是一个向量，这个向量包含了在某点各个变量各自的微分，向量具有方向，即梯度的方向，该方向是该点在函数上变化最快的方向，梯度的方向是上升最快；梯度的反方向下降最快。

α：

  学习率或者步长，每次沿梯度方向上升或下降的长度。

损失函数：

一个样本的误差

代价函数：

  用于找到最优解的目的函数（在所有数据基础上拟合一条线，使尽量的数据集 中的数据符合这条线），定义在整个训练集上，是所有样本误差的平均，也就是损失函数的平均。通过代价函数就能算出拟合的线与实际的差距，判断哪一条线最符合实际，最优解即代价函数取最小时。

• 平方（均方）误差代价函数 代价函数的理解：每个样本值与该点预测值之差的平方总和的平均数再取二分之一。
  

梯度下降算法

如果代价函数是J(θ_0,θ_1)，梯度下降算法的目的是持续改变θ_0与θ_1的值，使得代价函数J的值达到最小。

正规方程

求θ的解析解法，直接一次性求解θ最优值，利用公式θ = (X^T*X)^-1*X^T*Y，使用时不需要学习率α、特征缩放和多次迭代，但当特征值n过大时，最好选用梯度下降算法。

Logistic Regression

用于多分类问题的一种分类算法，使假设函数的值始终处于0和1之间。hθ(x) = g(θ^T*X) =1/1+e^-θT*X

训练集——>拟合θ——>确定决策边界