一.监督学习(supervised learning):
输入中的每个元素都给定了明确的类型,包含:
回归问题:给定训练集,预测输出为一些连续值。
分类问题:给定训练集,预测输出为一些离散值。
二.无监督学习(unsupervised learning):
输入中的每个元素都没有指定明确类型,使用聚类算法,按照数据的结构将其分为多个聚类。
cocktail party算法: 对一个屋子中的两个音源,在不同的位置放置两个麦克风,通过两个音源在不同位置麦克风中混合结果不一样,将两个音源分开。
三.单变量线性回归:
1.评估函数:
评估拟合函数的优劣性,使用公式:
J(θ0,θ1)=(1/2m)*∑i(i=1~m) (hθ(x(i))−y(i))21
hθ(x)为拟合函数
2.梯度下降:
假设拟合函数为hθ(x)=θ0+θ1x,建立三维坐标系,θ0为x轴,θ1为y轴,J(θ0,θ1)为z轴,建立曲面后,曲面的最低点即为拟合效果最好的函数,为寻找这一点,可以一直沿曲面倒数的相反方向移动θ0,θ1,直到收敛。
repeat until convergence:
θj:=θj−α[Slope of tangent aka derivative]
对评估函数求导,该迭代过程变为:
这些每一次迭代都需要遍历整个训练集的算法称为batch gradient descent
四.线性代数基础
向量指的是N*1的矩阵,又称n维向量
将batch gradient descent中对整个训练集的计算改为一次矩阵乘法
假设训练集中有x=123,234,345,456,预测函数为h(x)=-40+0.25x
那么计算∑i(i=1~m)h(xi)的矩阵乘法为:
|1 , 123|
|1 , 234| * |-40|
|1 , 345| |0.25|
|1 , 456|
得到的4维向量就是答案