- 博客(5)
- 收藏
- 关注
RSS订阅原创 Meta-SGD在跟踪领域的应用：Meta-Tracker
优化算法三要素：初始化，学习率，更新方向。传统方法是手工设定这些参数，而Meta-SGD则设计算法端到端地学习这些参数。从上图的结果可以看出，利用meta-sgd中提到的方法来改进CREST之后，仅使用一次迭代就达到较好的效果，模型能够快速适应新任务，这也说明了meta-sgd学习到了比较好的初始化参数、学习率与参数的更新方向。...
2018-06-14 17:07:19
1539
原创 深度学习：记录学习过程中思考的一些小问题
1.卷积神经网络中，通常有跨层的feature map融合，有时候会出现feature map的大小不同或者channel数不同，这时将不能进行特征融合，应如何解决这些问题？1）feature map大小不同，通常是因为在卷积神经网络中加入了池化层（pool），池化层的作用是降维，减轻计算量，同时能保留一些重要的信息，比较常用的是max pooling。然而经过pooling层的feature m...
2018-06-10 22:43:01
328
原创 目标跟踪之CREST：Convolutional Residual Learning for Visual Tracking（ICCV2017目标跟踪性能最佳）
下篇博客准备记录一下利用元学习的方法在CREST上的改进，同时介绍下few-shot learning，迁移学习，元学习等领域的一些工作。
2018-06-10 21:55:50
891
原创 1*1卷积的作用
1*1卷积的主要作用有以下几点：1、降维（ dimension reductionality ）。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；下面举一...
2018-06-06 22:22:57
13641
4
原创 关于梯度下降法及它的一些变形
一.讨论无约束优化问题：最速下降法求解无约束优化问题最简单和古老的方法之一。虽然如今它有很多缺陷，但却是研究其他约束优化算法的基础。用不同的方式确定搜索方向或搜索步长，会得到不同的算法。最速下降法是用负梯度方向作为搜索方向，因此也称为梯度法。为什么选择梯度下降法？事实上负梯度方向并不是一个好的下降方向，需要很多步骤才能收敛，用其它高阶的算法能够在更少的步骤收敛。但它的优点是简单，不需要计算高阶导数...
2018-06-01 08:51:09
975
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人