2018 Iterative Visual Reasoning Beyond Convolutions 论文梳理

18年是GNN开始初出茅庐也是大放异彩的一年, 这篇论文是李飞飞团队的关于GNN在CV领域中的一个开拓性的应用.甚至作者陈鑫磊称, 通过结合CNN和GNN, 本文发明了"下一代的视觉识别系统". 这个观点是不是...

2019-01-12 11:52:37

阅读数:84

评论数:0

Tensorflow③ Keras的LSTM和TF的LSTM实现的源码剖析

最近在做可以转成pb模型的RNN/LSTM层的实现细节分析。经过一些分析,发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMCell有一些实现上面的区别。本文将立足于Keras和Tensorflow源码,分别搭建两个简单...

2018-12-19 13:00:18

阅读数:298

评论数:0

PyTorch学习笔记(13)——强力的可视化工具visdom

今天,让我们来放松一下大脑,学习点轻松的东西————可视化工具Visdom,它可以让我们在使用PyTorch训练模型的时候,可视化中间的训练情况,无论是loss变化还是中间结果比较。相比干呆呆的瞪着命令行,Visdom让我们的调参之路变得更加生动和活泼了.~ 0. 前言 对于一些任务,尤其是难...

2018-11-27 18:47:24

阅读数:166

评论数:0

Tensorflow② c++接口加载模型推理单张图片

tensorflow的官网上提供很详细的python教程,也确实很好用。但是,应用软件产品大多用c/c++写的。所以,大部分的应用都是用python来训练模型,得到训练好的模型后. 用c++调用tensorflow模型进行推理。通过收集资料,总结了方法. 1. 使用python训练模型,...

2018-11-06 18:39:54

阅读数:186

评论数:0

PyTorch学习笔记(12)——PyTorch中的Autograd机制介绍

在《PyTorch学习笔记(11)——论nn.Conv2d中的反向传播实现过程》[1]中,谈到了Autograd在nn.Conv2d的权值更新中起到的用处。今天将以官方的说明为基础,补充说明一下关于计算图、Autograd机制、Symbol2Symbol等内容。 0. 提出问题 不知道大家在使...

2018-10-13 09:35:00

阅读数:219

评论数:0

PyTorch学习笔记(11)——论nn.Conv2d中的反向传播实现过程

0. 前言 众所周知,反向传播(back propagation)算法 (Rumelhart et al., 1986c),经常简称为backprop,它允许来自代价函数的信息通过网络向后流动,以便计算梯度。它是神经网络之所以可以进行学习的最根本因素。在如PyTorch、Tensorflow等深...

2018-10-12 12:36:57

阅读数:374

评论数:0

PyTorch学习笔记(10)——上采样和PixelShuffle

去年曾经使用过FCN(全卷积神经网络)及其派生Unet,再加上在爱奇艺的时候做过一些超分辨率重建的内容,其中用到了毕业于帝国理工的华人博士Shi Wenzhe(在Twitter任职)发表的PixelShuffle《Real-Time Single Image and Video Super-R...

2018-09-27 10:28:20

阅读数:3505

评论数:0

PyTorch学习笔记(8)——PyTorch之随机数生成

0.前言(基于Torch0.4.1) 相信在使用PyTorch的时候,大家都用过torch.randperm等随机数生成的接口,今天就来分析一下在PyTorch中使用的随机数生成及其背后蕴含的算法原理。 1. 定位源码 首先,需要定位随机数生成的代码,经过查找,随机数生成的代码位...

2018-09-02 12:36:09

阅读数:705

评论数:0

PyTorch学习笔记(7)——多重派发

本文主体内容转载自罗秀哲——PyTorch源码浅析(五),因为我的C语言不熟悉,所以本篇大体还是借鉴于罗神的文章。不过相比罗身,我比较侥幸成为了PyTorch官方的contributor,一共也没改多少代码…,可能对罗神对PyTorch改动太多,没人有时间review吧。 多重派发 首...

2018-08-16 15:10:59

阅读数:276

评论数:0

PyTorch学习笔记(6)——DataLoader源代码剖析

这两天把DataLoader的源代码的主要内容进行了一些分析,基于版本0.4.1。当然,因为内容比较多,没有全部展开,这里的主要内容是DataLoader关于数据加载以及分析PyTorch是如何通过Python本身的multiprocessing和Threading等库来保证batch是顺序...

2018-08-08 14:40:31

阅读数:1544

评论数:3

PyTorch学习笔记(5)——论一个torch.Tensor是如何构建完成的?

最近在准备学习PyTorch源代码,在看到网上的一些博文和分析后,发现他们发的PyTorch的Tensor源码剖析基本上是0.4.0版本以前的。比如说:在0.4.0版本中,你是无法找到a = torch.FloatTensor()中FloatTensor的usage的,只能找到a = to...

2018-07-27 13:25:38

阅读数:562

评论数:0

PyTorch学习笔记(4)——自定义Loss Function(自动打印每次的梯度)

在stackoverflow上看到一个名叫Ismail_Elezi的老铁问了个自定义Loss Function的问题,它的问题在于:1)反向传播报错 2)矩阵算法使用不行 3)算法数值稳定性不行。 我决定在这个例子的基础上(它应该不是torch 0.4.0的新版本,因为看他的变量还是用Va...

2018-07-19 16:34:02

阅读数:1787

评论数:0

PyTorch学习笔记(1)——requires_grad和autograd.no_grad

前言 鉴于caffe2和pytorch要合并的消息,再加之pytorch实现模型的开发效率优势,虽然PyTorch版本预计还有一段时间才能面试,不过现在可以基于PyTorch0.4.0版本进行学习。本系列主要记载一些常见的PyTorch问题和功能,并不是对PyTorch教程的全篇实现,有需...

2018-06-28 12:40:16

阅读数:4325

评论数:1

空间金字塔池化SPP(Spatial Pyramid Pooling)

前言 何凯明大神于2014年在《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》,这篇paper主要的创新点在于提出了空间金字塔池化。这个方法对于目前很多任务非常实用,尤其是现在的神...

2018-06-24 11:09:14

阅读数:1051

评论数:1

机器学习算法——集成方法(Ensemble)之Stacking

本文是基于《kaggle比赛集成指南》来进行总结的概述什么是集成学习,以及目前较为常用的技术。这里主讲的集成学习技术用于分类任务,关于回归和预测这块不太了解,读者可自行查询相应博客或者论文。 1 什么是模型的集成? 集成方法是指由多个弱分类器模型组成的整体模型,我们需要研究的是: ...

2018-05-06 17:13:52

阅读数:3235

评论数:0

Faster-RCNN代码+理论——2

接着上面,继续分析,下面接着rpn之后的内容开始分析。 前面,我们分析了RPN,得到了一些框和背景。按照下图,把RPN的输出输入给RoI pooling进行一系列操作。 ① 定义输入数据RPN,将RPN的输出输入到RoI#coding:UTF-8 from __future__ import d...

2017-12-18 10:45:41

阅读数:3096

评论数:0

Faster-RCNN代码+理论——1

昨天刚参加完一个ibm的医疗影像大赛——我负责的模型是做多目标识别并输出位置的模型。由于之前没有什么经验,采用了在RGB图像上表现不错的Faster-RCNN,但是比赛过程表明:效果不是很好。所以这里把我对Faster-RCNN的原理及代码(https://github.com/yhenon/ke...

2017-12-17 12:23:52

阅读数:18192

评论数:17

数据(机器学习/深度学习)竞赛平台——Kaggle

这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且了解项目情况的朋友。本文分为两部分介绍Kaggle,Part One简单介绍Kaggle,Part Two将简单介绍正规的竞赛的项目,大家可以针对性的解决感兴趣的题目。 1、Kaggle简介Kaggle是一个数据分析的竞赛平台,网址:h...

2017-08-14 19:03:13

阅读数:13366

评论数:0

机器学习基础——BP算法

BP后向传播算法前言昨天看到了一篇关于BP后向传播的论文,想着把这方面的知识彻底理解一下,本文将基于该论文和基本的BP算法。解释其基本概念和权值调整的运算过程。一、BP神经网络的基本原理 BP(Back Propagation)网络是1986年由Rinehart和McClelland为首的科学...

2017-04-29 06:56:32

阅读数:5476

评论数:2

阿里云ECS搭建gogs(Ubuntu16.04)

前言 因为我的阿里云服务器是只有1核和512MB内存最“顶级”的配置。安装和配置gitlab做版本管理的话至少需要4GB,即便我把搞了4G的SWAP分区也不行。 在gitlab的配置过程中不只一次把我搞死,所以在请教大神的意见后,转而搭建gogs。这个比gitlab需要的资源少多了,下面把安装...

2018-12-13 14:00:17

阅读数:103

评论数:1

提示
确定要删除当前文章?
取消 删除