深度学习
AI无昵称
计算机视觉小虾;
学了好多用不上;
深度学习;
看看电影;
饭后要遛食;
Be strong!
展开
-
卷积与反卷积(转置卷积)关系的公式推导 及其各自的形式
1. 卷积与反卷积(转置卷积)的关系推导:2. Transposed Convolution, Fractionally Strided Convolution or Deconvolutionhttps://buptldy.github.io/2016/10/29/2016-10-29-deconv/Posted on2016-10-29反卷积(Deconvo...原创 2017-07-12 22:02:33 · 26254 阅读 · 13 评论 -
如何理解神经网络中通过add和concate的方式融合特征?
Hengkai Guo的回答 - 知乎 https://www.zhihu.com/question/306213462/answer/562776112下面的解释出自上面的链接对于两路输入来说,如果是通道数相同且后面带卷积的话,add等价于concat之后对应通道共享同一个卷积核。下面具体用式子解释一下。由于每个输出通道的卷积核是独立的,我们可以只看单个通道的输出。假设两路输入的通道分别...转载 2019-01-07 16:02:26 · 18444 阅读 · 0 评论 -
dilated convolution (扩张卷积) 输入输出特征图尺寸大小关系以及 receptive field (感受野) 计算
1. 输入输入出特征图尺寸大小的关系更多例子可以参考:https://zhuanlan.zhihu.com/p/56940729带有扩张卷积的输入与输出特征图feature map的大小关系为:其中,p->padding, d->dilation, k->kernel size,如果是常规的卷积,则另d=1即可。上面这个公式非常得有用,需要牢记!这个关系式推导非常...原创 2018-06-26 09:53:51 · 13065 阅读 · 4 评论 -
batch normalization 正向传播与反向传播
Understanding the backward pass through Batch Normalization LayerFeb 12, 2016At the moment there is a wonderful course running at Standford University, calledCS231n - Convolutional Neural Networ转载 2017-02-08 11:42:00 · 7794 阅读 · 0 评论 -
全卷积网络FCN详解
转载自: 点击打开链接背景CNN能够对图片进行分类,可是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑,于是无穷无尽的人往坑里面跳。全卷积网络 F转载 2017-02-09 09:54:59 · 33630 阅读 · 8 评论 -
keras, tensorflow, jupyter的虚拟环境安装, using virtulaenv
转载自:https://www.quora.com/How-can-I-work-with-Keras-on-a-Jupyter-notebook-using-Tensorflow-as-backend https://gist.github.com/USTClj/d3c9246cb44d25769acfa023a459abab#setupgithub上多种ten...原创 2017-03-03 09:19:04 · 2450 阅读 · 0 评论 -
生成对抗网络
1. 为了更加稳定的设计准则[更新中]Reference: cs231nRadford et al, “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”, ICLR 2016Generator is an upsampling network wit原创 2017-07-12 22:06:44 · 1374 阅读 · 0 评论 -
RCNN, Fast-RCNN, Faster-RCNN的一些事
转载自: 点击打开链接rbg大神的深度神经网络检测算法系列RCNN、Fast-RCNN、Faster-RCNN可谓是理论与实践的经典范例,论文创新点足够,在github上开源的代码更是造福广大码农,本文以当前最新Faster-RCNN的python实现(https://github.com/rbgirshick/py-faster-rcnn)为准,尝试对rcnn系列算法中的几个关键核心点进转载 2017-07-31 22:35:53 · 592 阅读 · 0 评论 -
CNN为什么鲁棒, 为什么具有旋转平移不变性
https://www.quora.com/How-is-a-convolutional-neural-network-able-to-learn-invariant-features1. 一种解释 After some thought, I do not believe that pooling operations are responsible for the tra转载 2017-10-30 19:26:57 · 15816 阅读 · 5 评论 -
cuda, cudnn的升级,各种深度学习库的安装
新版本的tensorflow和keras已经要求cudnn v6了,并且将来会升级到cuda9 和 cudnn7。 cudnn7最大的特点是支持group convolution, 这里原先的环境是cuda8, 将cudnn v5.1升级到 cudnn v6.0.21 [更新中](cudnn的升级内容转载自 点击打开链接)Nvidia-cudnn官网 https://原创 2017-10-11 10:29:26 · 6705 阅读 · 0 评论 -
神经网络训练注意事项
https://mp.weixin.qq.com/s/8ZARkCS_xVrgocXQiq1xtw如果你的神经网络不工作,该怎么办?作者在这里列出了建神经网络时所有可能做错的事情,以及他自己的解决经验。 忘记规范化数据 忘记检查结果 忘记预处理数据 忘记使用正则化 使用的batch太大 使用了不正确的学习率 在最后层使用了...转载 2017-09-06 20:27:29 · 1478 阅读 · 0 评论 -
转置卷积 Transposed convolution
【更新】请看我的另一篇博客https://blog.csdn.net/xiaojiajia007/article/details/75041651[重点]转置卷积的解释,避免三个误区: 点击打开链接Y = CX 卷积操作矩阵C定义排列如下:很多文章都说卷积核的转置就可以求反卷积,又陷入迷茫“就算把卷积核转置(或者左右翻转上下翻转),卷积后输出还是越来越小(或不变,至少不会增大...原创 2017-09-22 14:16:29 · 2561 阅读 · 0 评论 -
Apex相关
What is the difference between FusedAdam optimizer in Nvidia AMP package with the Adam optimizer in Pytorch?摘录自The Adam optimizer in Pytorch (like all Pytorch optimizers) carries out optimizer.step(...原创 2019-12-18 11:06:29 · 1270 阅读 · 0 评论