自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

g11d111的博客

Github: https://github.com/tomguluson92

翻译 PyTorch学习笔记(21) ——损失函数

0. 前言 本博客内容翻译自纽约大学数据科学中心在2020发布的《Deep Learning》课程的Activation Functions and Loss Functions 部分. 废话不多说,下面直接开始吧 ^ . ^ 1. 损失函数 本文是PyTorch学习笔记(20)——激活函数的姊妹...

2020-05-03 16:40:45 182 0

翻译 PyTorch学习笔记(20) ——激活函数

0. 前言 本博客内容翻译自纽约大学数据科学中心在2020发布的《Deep Learning》课程的Activation Functions and Loss Functions部分. 废话不多说,下面直接开始吧 ^ . ^ 1. 激活函数 本内容将回顾一些重要的激活函数以及其在PyTorch中的...

2020-05-02 12:44:23 131 0

原创 [PyG] 1.如何使用GCN完成一个最基本的训练过程(含GCN实现)
原力计划

0. 前言 为啥要学习Pytorch-Geometric呢?(下文统一简称为PyG) 简单来说,是目前做的项目有用到,还有1个特点,就是相比NYU的DeepGraphLibrary, DGL的问题是API比较棘手,而且目前没有迁移的必要性。 图卷积框架能做的事情比较多,提供了很多方便的数据集和各种...

2020-04-14 11:24:47 685 0

翻译 PyTorch学习笔记(19) ——NIPS2019 PyTorch: An Imperative Style, High-Performance Deep Learning Library

0. 前言 波兰小哥Adam Paszke从15年的Torch开始,到现在发表了关于PyTorch的Neurips2019论文。中间经历了漫长的过程。这里,把原文进行翻译放出来,以供读者了解这几个问题: 为什么要设计PyTorch? PyTorch与之前的深度学习framework的区别是什么?...

2020-03-01 10:36:19 488 0

原创 PyTorch学习笔记(18) ——基于pytorch 1.1.0编写cuda扩展

0. 前言 对于一些特殊的算子, 我们需要进行定制其前向和反向的过程, 从而使得其能够获得更快的速度, 加速模型的训练. 这样, 我们自然会想到使用PyTorch的cuda扩展来实现, 这里, 我将以一个简单且易于理解的例子出发, 详细的介绍如何构造一个属于你的cuda扩展. 1. 为什么需要写c...

2020-02-20 12:23:10 229 0

原创 Voxceleb2 视频数据集下载(国内链接)

最近需要用到voxceleb2的视频数据集做点东西, 但是发现从官网下载实在太过于费劲, 好不容易下载下来, 将将近300GB的文件切片上传至百度云. 希望能对需要这个数据集做事情的童鞋有点帮助. ^.^ 1. 写在前面 我们使用的是牛津大学Zisserman大神率领的团队做的 <Voxc...

2019-11-14 10:11:56 1064 21

原创 PyTorch学习笔记(16)——编写你自己的PyTorch kernel(基于PyTorch1.2.0)

在前一阵看过PyTorch官方核心开发者Edward Z, Yang的在纽约举办的PyTorch NYC Meetup的关于PyTorch内部机制的讲解。从通过strides指定逻辑布局,tensor wrapper到autograd机制以及对PyTorch内部最重要的几个基本代码模块的扼要说明,...

2019-06-25 14:55:15 1569 0

原创 2018 Additive Attention分析及代码

最近需要评估一些self-attention模块的效果, 除了简单好用的Squeeze-Excitation外, Additive Attention (AA) 是最近开始受到人们注意的一个新型self-attention的注意力机制, 来自犹他大学和亚马逊的作者们, 原意是将其用在BiLSTM...

2019-03-29 18:03:26 1318 4

原创 PyTorch学习笔记(14) ——PyTorch 1.0 的C++ FrontEnd初体验

在去年12月份,我尝试了一下PyTorch 1.0的C++前端, 当时官方负责PyTorch的C++前端的老哥是: Peter Goldsborough, 当时的C++前端还不够稳定,官方文档提供的demo无法跑通. 所以为了避免后面的同学再次入坑. 本部分将会手把手教你如何用PyTorch1.0...

2019-02-28 10:30:41 1157 5

原创 2018 Iterative Visual Reasoning Beyond Convolutions 论文梳理

18年是GNN开始初出茅庐也是大放异彩的一年, 这篇论文是李飞飞团队的关于GNN在CV领域中的一个开拓性的应用.甚至作者陈鑫磊称, 通过结合CNN和GNN, 本文发明了&amp;amp;quot;下一代的视觉识别系统&amp;amp;quot;. 这个观点是不是很让人瑟瑟发抖?...

2019-01-12 11:52:37 1291 1

原创 Tensorflow③ Keras的LSTM和TF的LSTM实现的源码剖析

最近在做可以转成pb模型的RNN/LSTM层的实现细节分析。经过一些分析,发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMCell有一些实现上面的区别。本文将立足于Keras和Tensorflow源码,分别搭建两个简单的一...

2018-12-19 13:00:18 3458 21

原创 PyTorch学习笔记(13)——强力的可视化工具visdom

今天,让我们来放松一下大脑,学习点轻松的东西————可视化工具Visdom,它可以让我们在使用PyTorch训练模型的时候,可视化中间的训练情况,无论是loss变化还是中间结果比较。相比干呆呆的瞪着命令行,Visdom让我们的调参之路变得更加生动和活泼了.~ 0. 前言 对于一些任务,尤其是难...

2018-11-27 18:47:24 3501 0

原创 PyTorch学习笔记(12)——PyTorch中的Autograd机制介绍

在《PyTorch学习笔记(11)——论nn.Conv2d中的反向传播实现过程》[1]中,谈到了Autograd在nn.Conv2d的权值更新中起到的用处。今天将以官方的说明为基础,补充说明一下关于计算图、Autograd机制、Symbol2Symbol等内容。 0. 提出问题 不知道大家在使...

2018-10-13 09:35:00 3426 0

原创 PyTorch学习笔记(11)——论nn.Conv2d中的反向传播实现过程

0. 前言 众所周知,反向传播(back propagation)算法 (Rumelhart et al., 1986c),经常简称为backprop,它允许来自代价函数的信息通过网络向后流动,以便计算梯度。它是神经网络之所以可以进行学习的最根本因素。在如PyTorch、Tensorflow等深...

2018-10-12 12:36:57 3051 4

原创 PyTorch学习笔记(7)——多重派发

本文主体内容转载自罗秀哲——PyTorch源码浅析(五),因为我的C语言不熟悉,所以本篇大体还是借鉴于罗神的文章。不过相比罗身,我比较侥幸成为了PyTorch官方的contributor,一共也没改多少代码…,可能对罗神对PyTorch改动太多,没人有时间review吧。 多重派发 首...

2018-08-16 15:10:59 728 0

原创 PyTorch学习笔记(6)——DataLoader源代码剖析

这两天把DataLoader的源代码的主要内容进行了一些分析,基于版本0.4.1。当然,因为内容比较多,没有全部展开,这里的主要内容是DataLoader关于数据加载以及分析PyTorch是如何通过Python本身的multiprocessing和Threading等库来保证batch是顺序取出的...

2018-08-08 14:40:31 16921 5

原创 PyTorch学习笔记(5)——论一个torch.Tensor是如何构建完成的?

最近在准备学习PyTorch源代码,在看到网上的一些博文和分析后,发现他们发的PyTorch的Tensor源码剖析基本上是0.4.0版本以前的。比如说:在0.4.0版本中,你是无法找到a = torch.FloatTensor()中FloatTensor的usage的,只能找到a = to...

2018-07-27 13:25:38 2597 2

原创 Faster-RCNN代码+理论——1

昨天刚参加完一个ibm的医疗影像大赛——我负责的模型是做多目标识别并输出位置的模型。由于之前没有什么经验,采用了在RGB图像上表现不错的Faster-RCNN,但是比赛过程表明:效果不是很好。所以这里把我对Faster-RCNN的原理及代码(https://github.com/yhenon/ke...

2017-12-17 12:23:52 27188 23

原创 数据(机器学习/深度学习)竞赛平台——Kaggle

这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且了解项目情况的朋友。本文分为两部分介绍Kaggle,Part One简单介绍Kaggle,Part Two将简单介绍正规的竞赛的项目,大家可以针对性的解决感兴趣的题目。 1、Kaggle简介Kaggle是一个数据分析的竞赛平台,网址:h...

2017-08-14 19:03:13 24391 0

原创 2017 LARS:LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS (训练大Batch的卷积神经网络)

0. 写在前面 前一段时间调研AI芯片在尽量保证准确率的情况下,如何快速训练大规模数据集并分析其可行性。UC Berkeley的大佬尤洋[1]的这篇<LARS:LARGE BATCH TRAINING OF CONVOLUTIONAL NETWORKS> 提供了一个很好的保证在大Bat...

2020-01-26 14:24:06 967 0

原创 PyTorch学习笔记(17) ——pytorch的torch.repeat和tf.tile的对比

0. 前言 在对比stylegan2的D_stylegan2的时候, 我需要校对我的Minibatch_stddev_layer和作者的tf版本的区别,其中,有一个算子f.tile, 网上已经介绍的很清楚了,将其翻译为pytorch版本的时候其对应的算子没有清晰的解释,因此我将torch.repe...

2019-12-29 19:30:24 768 0

转载 如何构建一个大脑---为工程师们介绍神经生理学.

日期: 2019.11.25 星期一 晚 作者: Julius Kunze (这个小伙是UCL博士, 我是看他写了基于Jax的神经网络框架而关注他的, 他的这个项目是属于刚刚起步阶段, 只有他自己1个人提交代码.) 译者: Samuel Ko(即本人) 1. 为什么想要翻译这篇文章? 因为我看到...

2019-12-02 18:20:09 169 1

翻译 反卷积的棋盘格效应

本文译自来自谷歌大脑的AUGUSTUS ODENA等人的文章: Deconvolution and Checkerboard Artifacts[1], 虽然是16年的博客了, 但是其对解释反卷积的棋盘效应已经如何规避都给出了非常好和到位的意见. 下面让我们开始~ 前言 当我们分析由神经网络生成...

2019-09-30 19:12:01 927 2

翻译 机器翻译评价指标BLEU介绍

最近需要设计一个机器翻译相关的试验, 其中好多东西都不同, 先从基础的评价指标来吧. 本文翻译自Jason Brownlee的博客[1]. 可能会简化一部分内容, 如有需要请读者直接读原文. 0. 前言 BLEU (其全称为Bilingual Evaluation Understudy), 其...

2019-08-28 11:15:37 8245 2

转载 ON-LSTM:用有序神经元表达层次结构

本文转载自 苏剑林[1]在科学空间上关于ON-LSTM非常好的解析, 中间加入一些细节的说明, 以期读者在理解原理之余, 对其实现也有概念. 下面开始… 前言 今天介绍一个有意思的LSTM变种:ON-LSTM,其中“ON”的全称是“Ordered Neurons”,即有序神经元,换句话说这种LS...

2019-08-20 11:18:58 400 0

原创 基于TensorRT 5.x的网络推理加速(python)

本文目的主要在于如何使用TensorRT 5.x的python api来进行神经网络的推理。因为目前TensorRT只支持ONNX,Caffe和Uff (Universal Framework Format)这三种格式。这里以tensorflow的pb模型为例(可以无缝转换为uff)进行说明。 ...

2019-06-15 10:30:02 3304 5

原创 gRPC python封装深度学习算法教程

最近需要提供一个包含多个神经网络推理的python代码供gRPC调用,即我需要在这个主程序的基础上封装一个支持gRPC的服务端(server)。本教程的目的在于通过简单的代码,来帮助有需求的朋友使用python来构建属于自己的gRPC服务端/客户端。 0. 前言 最近需要用grpc调用我们的算法...

2019-05-25 11:39:39 1996 0

转载 PyTorch学习笔记(15) ——PyTorch中的contiguous

本文转载自栩风在知乎上的文章《PyTorch中的contiguous》。我觉得很好,特此转载。 0. 前言 本文讲解了pytorch中contiguous的含义、定义、实现,以及contiguous存在的原因,非contiguous时的解决办法。并对比了numpy中的contiguous。 c...

2019-05-21 23:30:20 2141 0

原创 2018 轻量化网络Mobilnet v2

0. MobileNet介绍 MobileNet是M为移动和嵌入式设备提出的高效模型。MobileNet基于流线型(streamlined) 架构,使用深度可分离卷积(depthwise separable convolutions, 即Xception变体结构, 详细请参考干巴他爹–Depthw...

2019-05-13 14:20:17 369 0

翻译 2017 如何训练一个GAN网络

GAN, 作为一种非常厉害的生成模型, 在近年来得到了广泛的应用. Soumith, PyTorch之父, 毕业于纽约大学的Facebook的VP, 在2015年发明了DCGAN: Deep Convolutional GAN. 它显式的使用卷积和转置卷积在判别器和生成器中使用. 他对GAN的理解...

2019-04-08 22:26:56 1190 0

翻译 Nevergrad: 一个Facebook发布的derivative-free的开源优化工具包

本文翻译自Olivier Teytaud等人于2018年底发布在code.fb.com上的一篇文章Nevergrad: An open source tool for derivative-free optimization . Nevergrad是一个新颖的东西, 按开发者的意思, 未来要将其纳...

2019-02-28 13:45:53 320 0

原创 2017 Deformable ConvNets V1介绍及分析(包括代码)

最近Deformable Conv V2比较火, Deformable Conv的概念是MSRA的戴季峰等人提出来的, 挺不错的一个东西, 对于有形变的物体的识别效果很好, 今天先把其前身Deformable ConvNets V1做个总结, 以便打好学习Deformable ConvNets ...

2019-01-23 15:25:33 1042 2

原创 阿里云ECS搭建gogs(Ubuntu16.04)

前言 因为我的阿里云服务器是只有1核和512MB内存最“顶级”的配置。安装和配置gitlab做版本管理的话至少需要4GB,即便我把搞了4G的SWAP分区也不行。 在gitlab的配置过程中不只一次把我搞死,所以在请教大神的意见后,转而搭建gogs。这个比gitlab需要的资源少多了,下面把安装...

2018-12-13 14:00:17 412 2

转载 Ubuntu /boot 占满解决方案

转载自SpeculateCat写的文章&lt;Ubuntu /boot 占满解决方案&gt; 我们在安装 Window 和 Ubuntu 双系统的时候,往往会自定义 /boot 分区,一般网上的教程都会建议给 /boot 分区分配 200M-300M 的大小。但是,系统升级的时...

2018-11-21 17:38:34 471 0

原创 Tensorflow① 模型转换 ckpt转pb h5转pb

此篇博客重在总结Tensorflow,Keras模型训练的模型文件转换为pb结构的方式,节省寻找转换工具的时间。 1. Tensorflow ckpt模型转换pb模型 我们在Tensorflow中训练出来的模型一般是ckpt格式的,一个ckpt文件对应有xxx.ckpt.data,xx...

2018-11-16 11:39:55 7688 11

原创 Tensorflow② c++接口加载模型推理单张图片

tensorflow的官网上提供很详细的python教程,也确实很好用。但是,应用软件产品大多用c/c++写的。所以,大部分的应用都是用python来训练模型,得到训练好的模型后. 用c++调用tensorflow模型进行推理。通过收集资料,总结了方法. 1. 使用python训练模型,...

2018-11-06 18:39:54 2171 10

转载 激活函数ReLU、Leaky ReLU、PReLU和RReLU

转自:http://i.ifeng.com/lady/vnzq/news?m=1&amp;aid=124686188&amp;mid=2EjJF3&amp;all=1&amp;p=2. 关注这个问题是因为在原生的Tensorflow中,是没有PRelu的,只在Te...

2018-11-06 11:33:57 1980 0

原创 PyTorch学习笔记(10)——上采样和PixelShuffle

去年曾经使用过FCN(全卷积神经网络)及其派生Unet,再加上在爱奇艺的时候做过一些超分辨率重建的内容,其中用到了毕业于帝国理工的华人博士Shi Wenzhe(在Twitter任职)发表的PixelShuffle《Real-Time Single Image and Video Super-R...

2018-09-27 10:28:20 34759 12

原创 CSDN新版Markdown编辑器(Alpha 2.0版)使用说明

一直使用CSDN的markdown编辑器进行博客编辑,现在CSDN的markdown编辑器改版,把一些重要内容记录下来。 1.更新内容 这次我们更新了以下内容: 我们重构了MD编辑器代码,比起以前更稳定,速度也更快; 增加了保存功能; 支持图片拖拽上传; 支持剪贴板上传图片...

2018-09-20 14:06:07 417 0

原创 PyTorch学习笔记(9)——nn.Conv2d和其中的padding策略

一. Caffe、Tensorflow的padding策略 在之前的转载过的一篇文章——《tensorflow ckpt文件转caffemodel时遇到的坑》提到过,caffe的padding方式和tensorflow的padding方式有很大的区别,输出无法对齐。这是为什么呢? 下面...

2018-09-12 18:06:48 71983 22

提示
确定要删除当前文章?
取消 删除