5328笔记 Advanced ML Final Review

Law of Large Number: 大数定理

Best Classifier：最好分类器
什么是最好的分类器：

Best classifier就是让loss最小的classifier

0-1损失函数的缺点，它不是一个凸函数或者平滑，很难学习和优化。
所以我们就引入了surrogate loss function：替代损失函数
但是要注意并不是所有的surrogate loss function都是凸函数


Exponential loss就是一个单调函数，不是凸函数
Classification-calibrated SLF 分类校准 替代损失函数

判断CC SLF的方法，就是看在0处的导数是否小于0


凸函数的定义，两点连线上的任意一点，都高于原函数

一阶导数的切线永远在函数下方

凸函数的性质

泰勒公式，梯度下降就是通过泰勒公式推导出来的

a是任意取的f(x)定义域里的值。
泰勒公式与梯度下降的关系：

通过泰勒公式将f(hk+1)展开，又因为f(hk+1 - hk)的delta很小，所以我们只要前两项。


Gradient convergence rate：梯度收敛率，到梯度为0的速率
下面的表要记下来，尤其是时间复杂度和收敛情况。

f(hs)中，hs是针对某一特定的训练集中，最优的模型，成为hs。
下面的式子可以不断的推导，从hk到hk-1到h1，最终到h1时，注意前面是(a-u/L)的k次方。


常见的Notation：符号
经验风险：样本风险，训练集S上的风险Rs(h),
R(h)是期望风险，指全局数据集上的风险。

3个重要的模型，c, h*, hs。
Error Comparison：误差比较

近似误差和预估误差，上面那个图要铭记于心。

如果c在H中，那么近似误差就为0.但是我们无法无限的扩充H去包含c，会导致学习成本太高。而且预估误差也会升高。

PAC(Probably Approximately Correct Learning)：大概近似正确学习，PAC要解决的问题是，到底需要多个数据，才能学好一个数据模型。数据太多了，成本太高，数据太少，学不好。

注意公式的推导要会，一定会考。老师week13review推导全过程。
ERM(Empirical risk minimisation)：经验风险最小化

Hypothesis complexity：模型复杂度，就是指H集合的模型数量。

泛化误差的上限，考试大概率考推导，review里面有具体推导


3个点，有8中可能。这种才能说它有VC Dimension


字典学习就是将数据x存入字典D中，D的维度更少。R的意思，更像是一个检索方式。x=DR。
x是被矩阵分解了。







正则可以防止数据过拟合，这里是让R变得稀疏。后面还学了正则纠正噪点误差，以及让transfer learning更好的学习。


稳定算法的定义：traning data 有一点点改变，那么结果也是一点点的改变。并且随着数据量的增加，误差越来越低。

考题：什么是stable算法





似然估计和后验概率的推导必须会。

想让后验概率最大，就要正则项最小



迁移学习的推导，必须会



KMM希尔伯特空间，要看下具体


对称性的损失，就是正类的损失和负类的损失的加和是一个常数。

对称损失函数对RCN有鲁棒性的证明

通过迁移学习importance reweighting 解决CCN噪点问题
RCN和CNN是一定会考的





DAG有向无环图


迁移学习和多任务学习的不同。
迁移学习是不同的domain，但是是相同的分类器，让迁移的targe domain 最优。
多任务学习是不同的hypothesis，学习整个系统的最优。