第一课
机器学习的四部分:
监督学习
回归问题(给定样本训练原始模型)、分类问题(给定样本训练分类器)
学习理论
机器学习算法的使用、证明
无监督学习
聚类问题(像素分类进行边缘检测)
强化学习
第二课
监督学习:梯度下降
m:表示训练样本的数目,即训练集的大小。
x:表示输入变量(特征)。
y:表示输出变量/目标变量。
(x,y):表示一个样本。
θ:表示学习算法训练学习到的参数。
J(θ):表示参数θ下的训练方差
在监督学习中,做法:
找到一个训练集,提供一个学习算法,生成一个输出函数h(h被称为假设),h的任务获获得输入,并输出估计的结果。
算法:
搜索算法
从一个初始的θ开始,保持改变θ,最小化J(θ)。
梯度下降算法:
一定会可结束地往梯度下降的地方走。
随机梯度下降算法:
并非每次移动批处理所有的样本,对每个样本进行一次移动,以提高运行速度。
最后介绍了一个矩阵直接求梯度最优点的算法。
第三课:
局部加权回归:线性回归的一个变种
logistic回归:课程中第一个介绍的分类算法
牛顿法:对logistic回归模型进行拟合的算法
概念:
欠拟合(underfitting):数据中非常明显的形式没有被成功地拟合出来
过拟合(overfitting):算法仅仅拟合出数据的性质,不是隐藏在数据之下的性质。
参数学习算法:有固定参数进行数据拟合的算法。
非参数学习算法:参数的数量随着训练集合的大小线性增长。
局部加权回归/Loess
考虑到性质的局部性,对于每个输入x,对离x越近的样本赋予更大的权值(0~1)进行线性回归。
感知器算法:输出成0或1的离散形式。