![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
基础知识
一些基础的公式推理
Flying Stone
这个作者很懒,什么都没留下…
展开
-
李宏毅自注意力机制笔记 (Self-attention)
Vector Set as Input What is the output 1.Each vector has a label. 2.The whole sequence has a label. 3.Model decides the number of labels itself. Sequence Labeling 太孤立了把相邻向量串进去喂到全连接网络 (window) Self-attention 或是下边这样 最知名的文章 relevant 计算转载 2021-05-10 12:04:03 · 1134 阅读 · 0 评论 -
局部保留投影算法——LPP原理
Locality Preserving Projections 一.构建邻接图 a. 设定常数ε,若两样本点距离小于ε则两点为邻近关系 b. 若点p1是点p2最近的k个点之一,则p1是p2的临近点 二.权重获取 1.热核估计:当p1和p2有边相连 否则 Wij=0 2.如果p1和p2是临近关系则 Wij=1,否则 Wij=0 三.目标函数 为了防止消除任意的缩放因子,添加尺度归一条件 最...原创 2020-02-25 21:20:26 · 4147 阅读 · 0 评论 -
Spatial Pyramid Pooling-空间金字塔池化(附tf2代码浅析)
原理 特点:能解决输入图片大小不相等的问题,可以很好地使后续全连接层输入数量恒定,同时提取了多尺度特征 把一个特征图分别一整块,四等分,16等分,每个小块取max,最后一张图获得16+4+1=21个特征值,然后输入全连接层。 代码实现 channels_first 特征维度在前 channels_last 特征维度在后 K.cast 数值类型转化 K.round Bankers Rounding——四舍六入五取偶 def原创 2021-03-22 00:49:09 · 264 阅读 · 0 评论