- 博客(5)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 入门神经网络优化算法（六）：二阶优化算法K-FAC
上一篇介绍了二阶优化算法Natural Gradient Descent（自然梯度算法），虽然可以避免计算Hessian，但是依然在计算代价上极高，对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC
2020-03-29 22:27:55
5904
原创 深度学习方法（二十）：Hinton组最新无监督学习方法SimCLR介绍，以及Momentum Contrastive(MoCo)
本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作： - SimCLR——Hinton组的工作，第一作者Ting Chen - MoCo v2——He Kaiming组的工作，第一作者Xinlei Chen
2020-03-21 21:13:41
11887
原创 深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss
我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入三元组结构。
2020-03-08 21:21:53
27370
4
原创 三十分钟理解：矩阵Cholesky分解，及其在求解线性方程组、矩阵逆的应用
写一篇关于Cholesky分解的文章，作为学习笔记，尽量一文看懂矩阵Cholesky分解，以及用Cholesky分解来求解对称正定线性方程组，以及求“对称正定矩阵”的逆的应用。
2020-03-04 23:59:38
36067
3
原创 入门神经网络优化算法（五）：一文看懂二阶优化算法Natural Gradient Descent（Fisher Information）
二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。
2020-03-03 00:51:11
6914
2
A disciplined approach to neural network hyper-parameters Part I
2020-02-09
Matplotlib.ipynb
2020-02-08
Reinforcement Learning an Introduction，2018最新版（第二版）
2018-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人