机器学习-2 监督学习

m=training examples

x=input   (feature)

y=output   (target)

(x,y)代表一个训练样本

Ti=(xi,yi)

trainingset->training algorithm->output function h  (hypothesis 假设）

h function   输入一个房子的面积，输出一个预计的房价；

h将x映射至y；

一般需要输入多个维度的特征值；x变成了一个代表，代表输入的一组（x1,x2）

事实上输入的x是(x1,x2) , h(x)=k1+k2x1+k3x2=hk;

矩阵k=[k1,k2,k2],x=[x1,x2]  ->hk=kt x

而k就是训练得来的适应性参数；

而我们的目标是使得 1/2*(h(x)-y)^2尽量小，也就是预测值尽量和实际值一致；

使用方差；

搜索算法

先给参数向量一个初始值，比如零向量，然后不断的改变参数，直到方差减小到最小值；

梯度下降

梯度，则是由函数的未知参数例如x，y的偏导数组成的向量，称为梯度，每一个未知数的偏导数意味着在该维度的导数，在该维度的增长速度，所以当两个维度的数确定，可以确定在该已知的函数值和未知数构成的三维图中从哪变化的最快，函数值增长的越快；

然后将每个k值更新为每次步长后的地方的k值，然后迭代求；一直求到函数最小值；

特征值，那些训练样本；步长则是每次向量的具体标量a；

获得算法 k=k-a(y-h(x))x;

其中批量梯度下降使用了所有的训练样本，随机梯度下降每次只使用一个样本；

然后最小二乘法，是将参数和特征值化为矩阵，然后根据矩阵的特性来求的最小的函数差；