深度学习优化
桓的烂笔头
这个作者很懒,什么都没留下…
展开
-
warp的具体操作
warp的具体操作torch.grid_sample()可以实现warp操作,输入为一个4维input,一个光流图的channel为2,代表的是input中的坐标,具体操作就是,根据光流图中每个点的坐标,将input中对应坐标点的像素赋值到光流图的相应位置,其中光流图中每个点的坐标可能在input中无精确对应,采用的方式可以是最近邻或者双线性方式在input中获取像素,最终输出的是input经过光流图像warp后的图像,这张图像将会有对齐的特性...原创 2021-04-19 12:13:22 · 2937 阅读 · 0 评论 -
模拟退火思路
模拟退火优化方法当求解的是有多个局部最优解的时候,为了防止优化到局部最优的位置,使用的一种优化手段。核心思路是:首先随机选择一个解作为开始,接下来通过设计的优化步长进行下一次迭代,计算迭代后的解是更接近最优解的时候,那就接受这个解为当前最优解,如果迭代后的解更远离最优解时候,按照一定概率来接受当前这个解一定概率的计算方式:通常使用函数来进行计算,dE为当前解与最优解的误差值。k为一个常数,T为一个温度,当温度0时候,结束优化。由于e的负指数值为0-1之间的值,因此P为一个0-1之间原创 2021-04-11 15:24:04 · 145 阅读 · 0 评论 -
Calibration: 一个工业价值极大,学术界却鲜有研究的问题!
Calibration: 一个工业价值极大,学术界却鲜有研究的问题!参考论文:On Calibration of Modern Neural Networks神经网络的输出很极端,输出大多情况总是0.9,或者0.1,如果分错了,也是0.1,导致让人总是有种错觉,网络什么都会,又什么都不会,因此提出了一个决策置信度来评价模型的准确率与置信度是否匹配然而ece无法直接最小化,因此想寻找一个跟它正相关的因素来间接最小化ece,分析了模型的深度与宽度,bn等的影响,最后发现模型的拟合成程度与与ece直接原创 2021-04-06 12:35:41 · 294 阅读 · 0 评论