ACM之路

原创 神经网络中add的理解

https://www.zhihu.com/question/306213462

原创 相机参数

原创 hololens

1.6DOF head tracking2. 3d surface reconstruction

原创 动力学理解rmsprop

其实说白了就一句话，梯度大的时候容易错，step就稍微小一点；梯度小的时候不容易错，step可以稍微大一点https://spaces.ac.cn/archives/6234

转载 adam 偏差修正理解

https://stats.stackexchange.com/questions/232741/why-is-it-important-to-include-a-bias-correction-term-for-the-adam-optimizer-for

原创 Adadelta理解

就是学习率和 约束的权重累加和 都使用 RMS

原创 Adagrad

给梯度逐元素加了一个平方和

原创 SGD原理

https://spaces.ac.cn/archives/5655

转载 欧拉解法解ODE

转载 神经网络理论【梯度下降】

条件允许情况下，在使用SGD时，开始使用小batch size和大学习率，然后让batch size慢慢增加，学习率慢慢减小。

转载 dy的理解

https://www.zhihu.com/question/22199657/answer/115178055

原创 线性代数-对角化

一个矩阵，先变换到一个空间，对角矩阵表示，然后再翻转回来

原创 线性代数 特征根

空间变换，仍在同方向的向量

原创 最长上升子序列和不下降子序列

#include <stdio.h>#include <string.h>#include <iostream>#include <algorithm>#include <vector>#include <queue>#include

原创 wav和mp4区别

wav是压缩前mp4是压缩后

原创 GCN源码理解

将原数据NXD, 编码成NXM，然后利用邻接矩阵 对相邻的节点的M维度的表示进行求和得到结果。

原创 拉普拉斯矩阵

拉普拉斯矩阵 定义图的性质的矩阵，里面包含了很多图的性质。

原创 线性代数的本质-零空间

所有的位置，最后被变化压到零点

原创 线性代数的本质-行列式

行列式的值 是变换后 围成的空间体积的变化

原创 Non-local 理解

Non-local和谷歌的all is attention 如出一辙。也可能是反着，all is attention和non-local如出一辙。看的重点是THWxTHW这个矩阵，直接暴力所有可能性。因此公式1+公式3+公式6就是Figure2。换句话说Figure2表示f()函数采取Embedded Gaussian且添加了residual connection的计算图。数据流是这样的：...

原创 Attention is All You Need 理解

原创 可变形卷积网络

原创 概率论的本质

几何分布第一次出现正面所需要的次数E(x) = 1/pVar(x) = (1-p)/p^2柏松分布其实是二项分布的一个简化版。n很大, p很小p(k) = e-m (x^k/k!)期望E(x) = sum{xp(x)}Var(x) =E[(x-Ex)^2]平均分布E(x) = (a+b)/2Var(x) = (n^2 - 1)/12疑问: P105...

原创 复数的乘法

(a+bi) * (c+di)2个向量，角度相加，长度相乘

原创 导数和积分的转换关系

原创 洛必达法则理解

f(x)/g(x)当f(x) = g(x) = 0的时候f(x) ~= df(x)dxg(x) ~= dg(x)dxf(x)/g(x) ~= df(x)/dg(x)

原创 微积分的理解

三角函数sin(θ)′=cos(θ)sin(\theta)' = cos(\theta)sin(θ)′=cos(θ)链式法则

原创 群的理解

线性变化a + bi里面的a平移和旋转变化a + bi里面的b

原创 复数的理解

a + bi 看成是把(1,0) 这个位置扯到(a, b) 这个位置。所以i就是左旋90度。所以2次i就是-1

原创 Pytorch中nn.ModuleList 和 nn.Sequential的区别

ModuleList里面没有forward函数Sequential里面有forward函数

原创 pytorch load_lua不支持 nngraph

查找了很多，发现pytorch load_lua不支持nngraph.所以只要是 model里面有nngraph的 都不能直接转成pytorch的model.

原创 lua, luajit理解

lua, luajit可以 类比成一个c++解释器torch 类比成一个 c++的包

原创 mask rcnn keypoint格式理解

a = Nx4x17a[:,:2,:]是关节点a[:,2,:] 是没有归一化的概率a[:,3,:] 是归一化的概率

原创 Batch Norm理解

1. batch norm理解即便噪声的引入使得分布不稳定，但在训练性能仍比标准网络好。所以，BatchNorm的有效性与Internal Covariate Shift并没有什么联系。

原创 global accuracy 和 mean accuracy的区别

global 全部一起算mean 每个类单独算

原创 空格卷积的效果

转载 高阶RNN理解