Law of Large Number: 大数定理
Best Classifier:最好分类器
什么是最好的分类器:
Best classifier就是让loss最小的classifier
0-1损失函数的缺点,它不是一个凸函数或者平滑,很难学习和优化。
所以我们就引入了surrogate loss function:替代损失函数
但是要注意并不是所有的surrogate loss function都是凸函数
Exponential loss就是一个单调函数,不是凸函数
Classification-calibrated SLF 分类校准 替代损失函数
判断CC SLF的方法,就是看在0处的导数是否小于0
凸函数的定义,两点连线上的任意一点,都高于原函数
一阶导数的切线永远在函数下方
凸函数的性质
泰勒公式,梯度下降就是通过泰勒公式推导出来的
a是任意取的f(x)定义域里的值。
泰勒公式与梯度下降的关系:
通过泰勒公式将f(hk+1)展开,又因为f(hk+1 - hk)的delta很小,所以我们只要前两项。
Gradient convergence rate:梯度收敛率,到梯度为0的速率
下面的表要记下来,尤其是时间复杂度和收敛情况。
f(hs)中,hs是针对某一特定的训练集中,最优的模型,成为hs。
下面的式子可以不断的推导,从hk到hk-1到h1,最终到h1时,注意前面是(a-u/L)的k次方。
常见的Notation:符号
经验风险:样本风险,训练集S上的风险Rs(h),
R(h)是期望风险,指全局数据集上的风险。
3个重要的模型,c, h*, hs。
Error Comparison:误差比较
近似误差和预估误差,上面那个图要铭记于心。
如果c在H中,那么近似误差就为0.但是我们无法无限的扩充H去包含c,会导致学习成本太高。而且预估误差也会升高。
PAC(Probably Approximately Correct Learning):大概近似正确学习,PAC要解决的问题是,到底需要多个数据,才能学好一个数据模型。数据太多了,成本太高,数据太少,学不好。
注意公式的推导要会,一定会考。老师week13review推导全过程。
ERM(Empirical risk minimisation):经验风险最小化
Hypothesis complexity:模型复杂度,就是指H集合的模型数量。
泛化误差的上限,考试大概率考推导,review里面有具体推导
3个点,有8中可能。这种才能说它有VC Dimension
字典学习就是将数据x存入字典D中,D的维度更少。R的意思,更像是一个检索方式。x=DR。
x是被矩阵分解了。
正则可以防止数据过拟合,这里是让R变得稀疏。后面还学了正则纠正噪点误差,以及让transfer learning更好的学习。
稳定算法的定义:traning data 有一点点改变,那么结果也是一点点的改变。并且随着数据量的增加,误差越来越低。
考题:什么是stable算法
似然估计和后验概率的推导必须会。
想让后验概率最大,就要正则项最小
迁移学习的推导,必须会
KMM希尔伯特空间,要看下具体
对称性的损失,就是正类的损失和负类的损失的加和是一个常数。
对称损失函数对RCN有鲁棒性的证明
通过迁移学习importance reweighting 解决CCN噪点问题
RCN和CNN是一定会考的
DAG有向无环图
迁移学习和多任务学习的不同。
迁移学习是不同的domain,但是是相同的分类器,让迁移的targe domain 最优。
多任务学习是不同的hypothesis,学习整个系统的最优。