深度学习数学基础
hellopipu
这个作者很懒,什么都没留下…
展开
-
[深度学习基础] Jacobian矩阵 & Hessian矩阵 &Laplacian矩阵
Jacobian矩阵定义:(函数的所有偏导数) 如果我们有一个函数f:Rm→Rnf: \mathbb{R}^m\rightarrow \mathbb{R}^nf:Rm→Rn ,fff的Jacobian矩阵J∈Rn×mJ\in \mathbb{R}^{n\times m}J∈Rn×m定义为Ji,i=∂∂xjf(x)iJ_{i,i}=\frac{\partial }{\partial x_j}f(...原创 2019-03-29 14:17:55 · 1521 阅读 · 0 评论 -
[深度学习基础] PCA与LDA
我对PCA的浅显的理解 PCA:无监督数据降维 主成分分析,以n维数据降到m维为例: 对数据矩阵进行特征值分解,将分解得到的n个特征值由大到小排序,找到前m个特征值,再由这m个特征值对应的特征向量将原始n维数据重构为m维数据矩阵,即完成了数据降维。 LDA:有监督数据降维 线性判别分析,核心思想:将高维数据投影到低维后,使得类内方差最小,类间方差最大 ...原创 2019-04-01 20:07:27 · 320 阅读 · 1 评论 -
[深度学习基础] 反向传播:简单实例
首先以单隐藏层的MLP为例对反向传播的过程进行具体说明: 前向传播 1、网络输入层:训练集上的一小批数据作为输入,将其规范化为: 矩阵X,以及对应的类标签向量y矩阵X,以及对应的类标签向量y矩阵X,以及对应的类标签向量y 2、网络计算隐藏层:全连接层+ReLU H=max{0,XW(1)}H=max{\{0,XW^{(1)}\}}H=max{0,XW(1)} 3、网络计算输出层:全连接层 HW(...原创 2019-04-03 18:12:31 · 1014 阅读 · 0 评论 -
[论文笔记] A Note on the Inception Score
Inception Score 上界的推导见文章 GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium原创 2018-10-12 21:40:20 · 1982 阅读 · 0 评论