Machine Learning - Andrew Ng 随笔

吴恩达这个是真正的完全0基础入门的机器学习课程?。

1 Welcome

Machine Learning定义 ：
A computer program is said to learn from experience E with respect to some task T and some performace measure P, if its performance on T, as measured by P, improves with experience E
举例子：手动标记你的Email为垃圾邮件，系统会学习垃圾如何过滤垃圾邮件。这里的Task就是“分类垃圾邮件”，Experience就是“观察用户如何标记垃圾邮件”，Performance就是“将垃圾邮件分类准确”。
（在RL里面的T、E、P有点像Action，State，Reward，但和其他算法不同的是RL是利用这几个值来对自身进行改进的）

2 Cost Function

他用了线性回归问题举例子，线性回归的目标就是找到对应的θ0、θ1、θ2等的值使cost function最小，前面的1/2m是为了除个样本数再除个2好用于有一个统一的标准，下面这个是简单(一元)线性回归的例子，多元的话就是扩展到多个θx：

（本来没打算看这个但是猛的想起来这个东西和Principle Contents Analysis有点像，只是线性回归是要函数预测值和函数上的差距最小，而PCA降维的方式是各点垂直到函数上的距离最小，而且PCA图上的点就是输出值，他们只是有点像但不一样。）
第一个线性回归，第二个PCA：


使线性回归的cost functions最小可以用梯度下降法，这里的:=是赋值运算符,α在这是learning rate学习率，也是一个hyperparameter超参数（超参数其实可以形象的说是你写函数的时候在参数列表里会有的，而真的参数其实只是超参数之一以矩阵形式传入，就像kNN算法的k值一样），剩下后面的那块东西就是所谓的梯度（在多元里面是多个对θ求偏导数的向量，一般记为▽J）（你只要记得这个值永远与最低的方向相反所以才叫梯度就行了）了