- 博客(27)
- 收藏
- 关注
RSS订阅原创 《CARS: Continuous Evolution for Efficient Neural Architecture Search》阅读记录
现有的三类搜索方法的优缺点1、Evolution Algorithm(EA) based: time-consuming.2、Reinforcement Learning(RL) based: make the searching stage less efficient.3、Gradient based: lack of variety.PS: HHH, 我现在的方法是不是属于第四类了，...
2020-03-12 15:26:36
633
原创 《Dynamic Filter Networks》阅读记录
MotivationIn a traditional convolutional layer, the learned filters stay fixed after training.So this paper propose the Dynamic Filter Network, where filters are generated dynamically conditioned on...
2020-03-06 11:51:44
668
原创 《Attention Is All You Need》
Proposalpropose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output.Contributions1...
2020-02-21 16:41:01
176
原创 《SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization》
Motivation1、Convolutional neural networks typically encode an input image into a series of intermediate features with decreasing resolutions.2、the motivation behind this scale-decreased architecture...
2020-02-21 16:13:38
718
原创 《Multinomial Distribution Learning for Effective Neural Architecture Search》
Contributions:1、 propose a Multinomial Distribution Learning for extremely effective NAS, which considers the search space as a joint multinomial distribution.2、Propose a performance ranking hypothe...
2020-02-19 15:23:58
369
原创 2020/02/17 学习总结
每天进步一点点呀，要慢慢积累，加油。1、阅读了论文《Multinomial Distribution Learning for Effective Neural Architecture Search》。论文提出的Performance ranking hypothesis，从想法到写作技巧都值得学习。2、python的iter()的用法，感觉很方便的样子。train_loader里是采样得...
2020-02-17 18:16:35
149
原创 《FastandPracticalNeuralArchitectureSearch》论文阅读记录
今天摸鱼……刷了一篇论文看23333Contributions1、本文提出的FPNAS可以搜索得到一个表现良好的小规模网络，且只需要20GPU hours。2、本策略包含由计算高效的block构成的新搜索空间。3、该搜索得到的网络可以应用于语义分割任务。算法步骤1、通过实验证明，用不同结构的block组成的网络模型可以比用相同结构的block堆叠起来的模型性能更好。2、定义一个blo...
2020-01-07 21:23:21
254
原创 2020/01/04学习笔记（《META-NAS》论文阅读的预备知识……）
一、 maximum log-likelihood estimation最大log似然估计的概念具体参考博文：https://towardsdatascience.com/probability-concepts-explained-maximum-likelihood-estimation-c7b4342fdbb1要点：1、为什么叫最大似然估计而不是最大似然概率？——答：理解下面这张图，因...
2020-01-04 21:23:03
425
原创 《Teacher Guided Architecture Search》论文阅读笔记
Motivation: "if we could evaluate the quality of a network’s internal features(KeyWord1) even in a very premature state, we might be able to more quickly determine if a given architecture is likely to...
2020-01-04 11:33:00
305
原创 2019/12/31会议记录
师兄没把PPT传上来，我只能佛系记录了……解决Anchor与target或Anchor与feature之间的对齐问题一、FreeAnchor特点：1、嵌入性较强；2、效果较好。二、Cascade RPN特点：1、通过shift生成一个offset。2、设置了一个自适应的卷积（采用了一种矩形框）代替乱七八糟的deformable卷积（太散，取特征不一定好）我的问题：1、Deform...
2020-01-02 17:09:27
154
原创 最终模型train步骤: train.py+new_model.py+decoder.py
主函数：train.pydef main(): warnings.filterwarnings('ignore') assert torch.cuda.is_available() torch.backends.cudnn.benchmark = True # 获取训练参数。 args = obtain_retrain_autodeeplab_args()...
2019-12-27 16:47:24
1002
原创 2019/12/25 学习总结（待填坑）
今天发现了自己好多的知识盲区……待填坑——CRF待填坑。encoder-decoder模型的必要性待填坑Transformer待填坑loss函数的各种可选形式待填坑Skip connection的具体思维还需要了解待填坑。bilnear upsampling待填坑。...
2019-12-25 20:30:50
131
原创 《SparseMask:...》论文阅读记录
基本概念：(1)Dense image prediction: a collection of computer vision tasks that produce a pixel-wise label map for a given image.将图像分类方法应用在Dense图像预测上的三个问题？1、dense图像预测需要输出a pixel-wise label map，而图像分类只需要输...
2019-12-25 20:23:50
233
原创 2019/12/24论文小组交流
今天下午从两点一直开会到6点……emmmmmm，脑子都快宕机啦。赶紧趁还有一些记忆的时候记录一下，虽然记录的内容很简单，但是也还是有用的吧。先祭出一张zxx师兄总结的10篇NAS方向的论文，码住待看。Multinomial Distribution Learning for Effective Nueral Architecture Search论文要点：将搜索空间看作一个联合多项式分布，...
2019-12-24 21:56:47
405
原创 forward前向传播部分
deeplab整体结构模型forward函数class AutoDeeplab(nn.Module): def __init__(self, num_classes, num_layers, criterion=None, filter_multiplier=8, block_multiplier=5, step=5, cell=cell_level_search.Cell): ...
2019-12-23 21:46:09
364
原创 decode部分阅读记录
图1初始化和viterbi给结构解码class Decoder(object): def __init__(self, alphas, betas, steps): .................... def viterbi_decode(self): # 注意这里的[:2]是取前两维的意思，就是取图1中的网络框架。 ...
2019-12-23 20:47:04
140
原创 train_autodeeplab.py代码阅读笔记
Trainer类初始化部分——class Trainer(object): def __init__(self, args): self.args = args # Define Saver self.saver = Saver(args) self.saver.save_experiment_config() ...
2019-12-19 21:00:22
1040
原创 cell结构代码阅读记录
首先是Cell类的初始化过程——注意：在__init__()函数中，比较难理解的是最后的step循环。需要结合论文3.1和4.1.1部分综合理解。每一步step都对应一个Block的建立过程，其中每一个Op都对应当前Block的一个输入张量。Cell(nn.Module)class Cell(nn.Module): def __init__(self, steps, block_mu...
2019-12-19 16:33:49
312
原创 2019/12/17
1、复习cityscapes.py时发现几个新的知识点。将训练集、测试集和验证集分别封装成cityscapesSegmentation类。既独立又统一。nn.module是pytorch中所有神经网络模板的父类。当我们需要自己用pytorch编写一个神经网络的类时，也需要继承nn.module。torch.utils.data.Dataset是所有的数据集继承的父类。自定义的citysca...
2019-12-17 20:53:14
89
原创 cityscapes.py阅读笔记
def twoTrainSeg(args, root=Path.db_root_dir('cityscapes')): # images_base是原始训练图像所在的目录。 images_base = os.path.join(root, 'leftImg8bit', 'train') # train_files存放所有图像的‘路径+名称’。 train_files...
2019-12-17 18:17:32
773
1
原创 Deeplab: DCNNs + Atrous Conv + FCCRFs 阅读笔记
一开始真是被标题和摘要吓到了，怎么一篇论文里面塞了这么这么多的东西emmmmm。结果看完了发现，其实是在之间做完的基础上加了ASPP，又结合一些更新的模型运行的结果。三个主要贡献：1、突出强调了空洞卷积(Atrous convolution)的重要性。能扩大Filter的感知域，而不增加计算量。2、提出了ASPP方法来结合多个尺度进行图像分割。3、结合DCNN和传统的概率图模型-全连接条件...
2019-12-17 18:17:00
728
原创 Resnet论文阅读记录
总结一下Resnet中residual learning module的优点：1、易于优化。2、随着深度越深，准确度越高【部分解决了degration问题】3、可以加很多层，但复杂度依旧很低。发现问题：随着神经网络的深度加深，会发生梯度消失/爆炸问题，网络不容易收敛。解决问题：normalized initialization和immediate normalization layer...
2019-12-17 18:16:14
110
原创 2019/12/09
今天开始阅读师兄给的deeplab项目代码，加油加油加油。1、python中的命令行参数解析模块 —— argparse学会如何添加必选变量，可选变量，设置变量缩写，帮助信息，指定读入的变量类型，限制变量的输入范围choices，设置默认变量等。参考:https://docs.python.org/3/howto/argparse.html#introducing-positional-ar...
2019-12-17 17:25:20
97
原创 FCN论文阅读记录
最近看完了论文《Fully Convolutional Networks for Semantic Segmentation》。还是花了不少时间的，第一次接触FCN，有很多知识点还没用完全理解。想趁热打铁，先自己梳理一下整篇论文。在我看来，整篇论文的亮点有如下几条：1、提出了完整的FCN定义，并且举了具体例子阐述如何将传统表现较为优异的分类器，转化成一个FCN。这种转化使得任意大小的图像都可以...
2019-12-17 17:24:21
149
1
原创 2019-12-10 学习总结
看代码的过程中，发现自己的基础特别薄弱。要慢慢积累呀。1、深度学习网络是越深越好吗？——网络的degradation问题在我的一般印象中，深度神经网络区别于一般神经网络的地方，就在于它的“深度”两个字。那神经网络的深度对神经网络具体有什么影响呢？从Alexnet采取的7层神经网络开始，后有VGG为了探索神经网络最多能有多深，而采取的16/19层神经网络，再到Googlenet的22层。有人已...
2019-12-17 17:23:01
118
原创 AlexNet论文阅读总结
看了两篇最新的较为复杂的论文，再来看AlexNet打打基础，感觉像是喝了好多美酒回来再品清茶，有一种简简单单中窥见朴素的智慧之感，看完了觉得很舒心，这样的论文我能再看一打哈哈哈哈论文的精华部分主要集中在Section 4，其次是Section 5。下面开始进入正题：一、Section 4部分中提到的模型亮点和值得借鉴的特征有：1、ReLu —— 只向小于0的输出值下手，大于0的值保持不变，因...
2019-12-17 17:22:07
117
原创 resnet.py代码阅读记录
class ResNet(nn.Module):首先定义了类ResNet，继承了nn.Module模块。继承nn.Module模块是pytorch的使用要求，这样ResNet可以作为一个Module自动进行求导等操作。下面开始介绍ResNet类里面的各个函数，其中还会涉及到Bottlenect类。这个类会单独拎出来讲。Class ResNet(nn.Module)函数_load_pret...
2019-12-17 17:18:53
385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人