- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 深度学习中的Matrix Calculus (3)： Kronecker Product
Kronector积+向量化是向量对矩阵求导，矩阵对矩阵求导的重要利器，主要思想就是将矩阵按列排成一一个列向量，然后求导，通过kronector积进行化简。需要注意的是，最后得到的矩阵其实是行向量，或者雅克比矩阵，需要再按照反vector化回去。 ...
2018-06-28 10:33:33
3183
原创 深度学习中的Matrix Calculus (2)： Trace And Matrix Differential
本篇主要内容就是矩阵标量函数的求导，基本思路就是： 给标量函数套上迹trace； 利用迹和矩阵微分的性质进行化简，化简到df=tr((∂f∂x)Tdx)df=tr((∂f∂x)Tdx)df=\rm{tr} \left(\left(\frac{\partial f}{\partial x}\right)^Td\mathbf{x}\right)就可以了 然后就可以得到∂f∂x∂...
2018-06-28 10:09:26
565
原创 深度学习中的Matrix Calculus (1)： Jacobian And Chain Rule
在深度学习里边，一个最重要的过程是Back Propagation，也就是计算梯度用于做梯度下降优化。然而在BP中，充斥着大量的矩阵微分运算以及各种转化技巧，导致没有学过矩阵论或者矩阵分析的童鞋感到压力山大，所以《深度学习反向求导》这个系列文章主要用最简洁的内容把Matrix Calculus这块的所需内容阐述一遍。背景：以DNN为例 DNN，也就是隐含层基本上都是全连接这种神经...
2018-06-26 16:13:18
1359
原创 Matrix Calculus Reference Links
http://explained.ai/matrix-calculus/index.html 基本的内容，主要涵盖多元微积分的Jacobian矩阵等。https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-differentiation.pdf 很有用的ppt，把基本的一些东西讲清楚了，还有一些公式列表。https://www.math....
2018-06-26 11:57:28
447
原创 基本产品与商业逻辑
这是一个随笔。 周末开车出去玩，途中一直在听刘润《五分钟商学院》，听到一个案例，觉得不错，记录在这里。 产品，或者说基本的商业逻辑其实很简单，总结成几句话就是：人无我有，人有我优，人优我廉。这个可以说是高度精炼了整个产品/服务的战略逻辑。然后讲了一个案例。一个公司的产品是玉米种子。这个玉米种子一直以来比别家的玉米种子质量好。这个阶段是人有我优。然而这几年很多公司的玉米种子的质量越来...
2018-06-04 10:28:38
1401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人