数学基础
线性代数:内容
标量,向量,矩阵,张量
矩阵和向量的乘法
单位矩阵 / 逆矩阵
线性相关 / 生成子空间
范数
(http://blog.csdn.net/shijing_0214/article/details/51757564)
特殊类型的矩阵和向量
特征分解
奇异值分解(SVD)
(http://blog.csdn.net/zhongkejingwang/article/details/43053513)
moore-penrose 伪逆
(https://www.cnblogs.com/AndyJee/p/5082508.html)
矩阵的迹
(https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5%E7%9A%84%E8%BF%B9/8889744?fr=aladdin)
行列式
主成分分析(PCA)
(http://blog.csdn.net/passball/article/details/24037593)概率论 & 信息论:内容
随机变量/概率分布/边缘概率/条件概率
条件概率的的链式法则
独立性和条件独立性
期望,方差,协方差
常用概率分布Bernoulli 分布, multinoulli 分布, 高斯分布, 指数分布和 Laplace 分布, Dirac 分布和经验分布, 分布的混合
(http://blog.csdn.net/pipisorry/article/details/39076957)
常用函数的性质sigmoid函数σ(x) = 1/(1+exp(-x))
softplus函数ζ(x) = log(1 + exp(x)).
贝叶斯规则
连续型变量的技术细节
信息论香农熵/相对熵(KL散度)/交叉熵
(http://blog.csdn.net/lanchunhui/article/details/51277608)
结构化概率模型数值计算
上溢/下溢
病态条件数
基于梯度的优化
约束优化
线性最小二乘法