深度学习
TaoTaoFu
这个作者很懒,什么都没留下…
展开
-
变分自动编码器(VAE)
VAE(Variational Autoencoder)的原理Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes."arXiv preprint arXiv:1312.6114(2013).论文的理论推导见:https://zhuanlan.zhihu.com/p/25401928中文翻译为:...转载 2019-12-17 17:20:43 · 1291 阅读 · 0 评论 -
KL散度
KL散度(Kullback–Leibler divergence)KL散度是度量两个分布之间差异的函数。在各种变分方法中,都有它的身影。转自:https://zhuanlan.zhihu.com/p/22464760一维高斯分布的KL散度多维高斯分布的KL散度:KL散度公式为:...转载 2019-12-17 17:17:39 · 533 阅读 · 0 评论 -
Attention概述
Part I:背景知识Part II:Attention形式Part III:具体Task分析Part I:背景知识这张图很是出名了,第一个将Attention用在NLP领域的论文,机器翻译,在每一步翻译的时候都关注不同的原文信息。Attention机制可以理解为一种文本聚焦方法,基本思想是对文本分配注意力权重,把注意力集中在相关的文本内容,增加这部分的贡献。Attenti...转载 2019-03-28 15:30:56 · 2545 阅读 · 0 评论 -
Attention Is All You Need
一文看懂Transformer内部原理(含PyTorch实现)Transformer注解及PyTorch实现原文:http://nlp.seas.harvard.edu/2018/04/03/attention.html 作者:Alexander Rush 转载自机器之心:https://www.jiqizhixin.com/articles/2018-11-06-10?from=...转载 2019-02-22 19:00:17 · 935 阅读 · 0 评论 -
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
https://blog.csdn.net/liuxiao214/article/details/81037416原创 2019-02-21 20:54:29 · 448 阅读 · 0 评论 -
tacotron2 介绍
论文地址:natural tts synthesis by conditioning wavenet on mel spectrogram predictionshttps://arxiv.org/pdf/1712.05884.pdf 论文翻译https://my.oschina.net/stephenyng/blog/1620467 一、模型框架a. 一个引入注意...原创 2019-01-21 16:28:42 · 3694 阅读 · 0 评论 -
Caffe之LeNet分析
http://blog.csdn.net/bea_tree/article/details/51601197转载 2017-12-07 18:37:30 · 339 阅读 · 0 评论 -
对全连接层的深入理解
原文地址:http://m.blog.csdn.net/YiLiang_/article/details/60468530理解全连接层连接层实际就是卷积核大小为上层特征大小的卷积运算,卷积后的结果为一个节点,就对应全连接层的一个点。(理解)假设最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4096。如果将这个全连接层转化为卷积层:1.共有4096转载 2017-12-06 12:18:43 · 7582 阅读 · 0 评论 -
AlexNet分析
转载地址:http://blog.csdn.net/u014114990/article/details/51125776转载 2017-12-06 14:58:40 · 1277 阅读 · 0 评论 -
LeNet 细节分析
原作者地址:http://www.jianshu.com/p/ce609f9b5910=============================================================================================================================================转载 2017-12-05 17:42:38 · 389 阅读 · 0 评论 -
RNN和LSTM推导与实现
BPTT(Back Propagation Through Time)首先来看看怎么处理RNN。RNN展开网络如下图RNN展开结构.jpgRNN节点结构.jpg现令第t时刻的输入表示为,隐层节点的输出为,输出层的预测值,输入到隐层的权重矩阵,隐层自循环的权重矩阵,隐层到输出层的权重矩阵,对应的偏执向量分别表示为,输入层转载 2017-11-18 18:54:25 · 975 阅读 · 0 评论 -
zouxy大神深度学习博文导航
zouxy09博客原创性博文导航zouxy09@qq.comhttp://blog.csdn.net/zouxy09 2012年8月21号开始了我的第一篇博文,也开始了我的研究生生涯。怀着对机器学习和计算机视觉等等领域的懵懂,从一个电子材料的领域跨入这个高速发展的人工智能领域。从开始的因无知而惊慌,因陌生而乏力,到一步步的成长。这过程的知识积累也都大部分反映在这个博客转载 2017-11-10 11:14:01 · 771 阅读 · 0 评论 -
形象的解释神经网络激活函数的作用
查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点:激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。下面我分别从这个方面通过例子给出自己的理解~@lee philip@颜沁睿俩位的回答已经非常好了,我举的例子也是来源于他们,在这里加入了自己的思考,更加详细的说了一下~开讲~首先我们有这个需求,就是二分类问题,如我要将转载 2017-11-09 17:39:09 · 569 阅读 · 0 评论 -
反向传播
最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的译者在翻译的时候会对省略的公式推导过程进行补充,但是补充的又是错的,难怪觉得有问题。反向传播法其实是神经网络的基础了,但是很多人在学的时候总是会遇到一些问题,或者看到大篇的公式觉得好像很难就退缩了,其实不难,就是一个链式求导法则反复用。如果转载 2017-05-08 15:56:53 · 1599 阅读 · 0 评论 -
VGG
ConvNets Typical Architecture与VGGNetConvNets Typical Architecture与VGGNetConvNets Typical Architecture-卷积神经网络经典结构卷积部分全连接部分深度学习网络结构发展趋势VGGNet分析VGG的组成VGG的训练细节结构细节VGG训练方法以及参数设置转载 2017-05-12 11:51:57 · 6443 阅读 · 3 评论 -
RCNN
reference link: http://blog.csdn.NET/shenxiaolu1984/article/details/51066975Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂,2010年更带领团队获得终身成就奖,如今供职于Facebook旗下的FAIR。转载 2017-04-17 23:00:38 · 467 阅读 · 0 评论