机器学习小白篇

机器学习：计算机无需特殊编程就能学习。分为监督学习(supervised learning)和无监督学习(unsupervised learning)。

1.监督学习：输入一个x，映射到输出y。监督学习的两种主要类型：回归（从无限多的可能输出的数字中预测数字）和分类（对一个类别进行预测，所有可能的输出都是一小组）。

(1)线性回归模型：在回归模型中可以输出无线多可能数据。

(2)分类模型：预测类别或者离散类别，例如：给定图片，判断是猫还是狗。在分类模型中，只有少部分输出。

2.无监督学习：数据仅仅有输入x，但是不输出y，算法必须发现数据的某种结构或模式。聚类算法、异常检测、降维。

3.针对线性回归的成本函数：

 

定义：成本函数(平方误差成本函数)：衡量模型预测值与实际值之间的差异。

模型：f(x)=wx+b,x:输入特征  y:目标（实际值）y^:预测值。在训练模型的过程中，模型参数可以修改，使得训练出的模型结果更好。

参数：w,b

目标：找到使得成本函数最小化的w,b

4.梯度下降算法：

 

定义：梯度下降算法可以用来尝试最小化任何函数，不仅仅是线性回归的成本函数。

α：学习率（learning rat），介于0~1之间，α控制更新模型参数w和b的步长。如果α很大，表示梯度下降的过程非常激进（可能使得成本函数更糟糕）；如果α非常小，表示梯度下降的过程比较缓慢。如何选择一个好的学习率？

求偏导，找出函数的斜率，如果斜率大于0，则更新后的w,b的值减小；相反更新后的w,b的值增大。

 

收敛：到达局部最小值时，参数w,b不再随着其他操作发生很大的变化。

5.用于线性回归模型的梯度下降：

凸函数：看起来类似于一个碗，只有一个全局最小值，不会有任何局部最小值，在凸函数实现梯度下降时，若选择合适的α，总是会收敛到全局最小值。