week 1 - week 2:
总结: cv发展史,从机器学习介绍开始直至深度学习,从人工特征工程->设计工具(神经网络)自主选取特征
观点1 :从Classification->Detection ->Segmentation->Sequence
Image-> Region -> Pixel -> Video
观点2 : 1990 -- 2006 年 机器学习年代 Image->preprocess->特征设计提取->分类器
2006 --- 深度学习年代 focus on 网络设计
week 3 :
数学基础部分: 现代+ 概率论
现代知识点:
1) 矩阵乘法定义来源:通过线性变换,将某一线性空间变换到另一线性空间(有穷维度),其本质是刻画两个线性空间映射的关系
2) 几何学定义: 一类事物在某种变换下不变的性质
3) 正交矩阵: 方阵,,几何意义: 旋转,平移等某种不变性
4) 方阵的特征向量:一维不变子空间
5) 实对称矩阵:二次型的矩阵形式即一个实对称矩阵(二次型:最简单形式即二次多项式,线性回归,最小二乘法,二次曲线,二次曲面); 重要性质:能够特征值分解,一定能够写为特征值*特征向量形式 几何意义: 所有二次型可以化作对角化二次型的形式
6) 半正定矩阵与正定矩阵:
性质: 一个矩阵乘自己的转置一定是一个半正定矩阵
概率论 :
1) 不关心来源,只关心结果的概率
2) 贝叶斯法则: 利用事物间的关联性,用已知信息,推算未知的信息
在机器学习中,通过先验分布(概率)与一些条件,去学习后验分布(概率)
3) 一维变量: 概率
二维变量:联合分布,独立变量
多维变量: 协方差矩阵
4) 协方差矩阵 :应用于多变量随机事件中,其一定是半正定矩阵
5) 高斯分布: 通过协方差矩阵与均值向量,可以推导得到该分布所有性质
6) 交叉熵: 可以得到新信息的引入对推测结果的影响程度,衡量两个分布的差距
好巧
7) K-L散度:其与交叉熵之间仅仅相差常数,因此优化交叉熵等同于优化K-L散度
8) Wasserteion distance: 替代交叉熵衡量两个分布的差距(由于交叉熵不符合三角不等式原则),又称为推土机距离,其本质类同移动土堆去填坑,最优的推法。