深度学习——数学基础

数学基础

1. 线性代数：内容
   标量，向量，矩阵，张量
   矩阵和向量的乘法
   单位矩阵 ／ 逆矩阵
   线性相关 ／ 生成子空间
   范数
   （http://blog.csdn.net/shijing_0214/article/details/51757564）
   特殊类型的矩阵和向量
   特征分解
   奇异值分解（SVD）
   （http://blog.csdn.net/zhongkejingwang/article/details/43053513）
   moore-penrose 伪逆
   （https://www.cnblogs.com/AndyJee/p/5082508.html）
   矩阵的迹
   （https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5%E7%9A%84%E8%BF%B9/8889744?fr=aladdin）
   行列式
   主成分分析(PCA)
   (http://blog.csdn.net/passball/article/details/24037593)

2. 概率论 & 信息论：内容
   随机变量／概率分布／边缘概率／条件概率
   条件概率的的链式法则
   独立性和条件独立性
   期望，方差，协方差
   常用概率分布

   Bernoulli 分布, multinoulli 分布, 高斯分布, 指数分布和 Laplace 分布, Dirac 分布和经验分布, 分布的混合

   （http://blog.csdn.net/pipisorry/article/details/39076957）
   常用函数的性质

   sigmoid函数σ(x) = 1/(1+exp(-x))

   softplus函数ζ(x) = log(1 + exp(x)).

   贝叶斯规则
   连续型变量的技术细节
   信息论

   香农熵／相对熵（KL散度）／交叉熵

   （http://blog.csdn.net/lanchunhui/article/details/51277608）
   结构化概率模型

3. 数值计算
   上溢／下溢
   病态条件数
   基于梯度的优化
   约束优化
   线性最小二乘法