深度学习
老光头_ME2CS
机械转计算机视觉的光头老僧
展开
-
KLD Loss( tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div) 计算技巧(一)
最近在比较不同模型的性能,发现虽然文献中使用的相同的指标,比如KLD。但是数据的处理方式却存在着差异,这会导致最后的数据并不具有直接可比性。这里记录下,其中的一些值得记住的细节。主要涉及的API包括tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div文章目录二维数据输入数据前处理tf.nn.softmaxtorch.nn.functional.softmaxkld 散度计算tensorflowpytorch完整代码二维数据输入原创 2020-11-09 15:14:03 · 4557 阅读 · 0 评论 -
【语义分割】 DRANet Scene Segmentation With Dual Relation-Aware Attention Network
2019 CVPR DANet (Dual Attention Network for Scene Segmentation)进阶版,或者轻量化计算量版本。原文中表述DANet的问题是虽然没有增加模型参数,但是每个点间和通道间的相关系数求解增加了模型的计算量和GPU内存使用attention modeling brings a heavy burdern on computation and memory if the number of pixels/channels is huge于是乎,由原原创 2020-10-31 11:52:00 · 3135 阅读 · 6 评论 -
【语义分割】DANet Dual Attention Network for Scene Segmentation
A∈RC×H×WA\in \mathbb{R}^{C \times H \times W}A∈RC×H×W{B,C}∈RC×H×W\{\mathbf{B}, \mathbf{C}\} \in \mathbb{R}^{C \times H \times W}{B,C}∈RC×H×WRC×N\mathbb{R}^{C \times N}RC×Nsji=exp(Bi⋅Cj)∑i=1Nexp(Bi⋅Cj)s_{j i}=\frac{\exp \left(B_{i} \cdot C_{j}\right)}{原创 2020-10-07 20:19:35 · 1451 阅读 · 1 评论 -
Pytorch 创建网络 ResNet18
最近在使用Linux训练网络的过程中,发现Torch在多GPU和多线程任务的API确实比Tensorflow更加友好,尤其是对于我这个非计算机专业的小白而言。所以只能仍疼割TF,转手Torch。相比Keras+Tensorflow的搭建方式,由于都是静态图方式,Torch的搭建方法基本与相似。有兴趣的小伙伴可以对博文学习。迁移学习还是按照之前写Tensorflow2.*的框架重建模型的思路,先参考官方的pre-trained模型的结构import torchvision.models as mode原创 2020-07-23 15:27:51 · 1576 阅读 · 1 评论 -
一个比喻理解 Train Validation Test Dataset 三者区别
如果将训练网络类比成中学学习过程,可做如下类比:数据集课程题目Train Dataset书本中例题和课后习题Validation Dataset小测试,期末考Test Dataset高考训练:学生在课堂和课后学习书本中的知识,理论上越勤奋,做的练习题越多(样本量),掌握知识点越牢固;验证:月考或自己买的辅导资料,看看知识点掌握情况,如果分数(loss)较低,发现学习漏洞,需要及时调整学习策略(learn rate);测试:最终考核,防止学生通过死记忆(直接背原创 2020-07-22 17:21:22 · 2407 阅读 · 0 评论