![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 76
Never-Giveup
这个作者很懒,什么都没留下…
展开
-
深度学习之卷积神经网络原理详解(一)
初探CNN卷积神经网络1、概述典型的深度学习模型就是很深层的神经网络,包含多个隐含层,多隐层的神经网络很难直接使用BP算法进行直接训练,因为反向传播误差时往往会发散,很难收敛CNN节省训练开销的方式是权共享weight sharing,让一组神经元使用相同的权值主要用于图像识别领域2、卷积(Convolution)特征提取卷积核(Convolution Kernel)...原创 2018-07-30 23:15:22 · 2440 阅读 · 1 评论 -
GAN入门(一):基本概念与手写数字生成实战
之前GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN,分享学习心得。GAN的鼻祖之作是2014年NIPS一篇文章:Generative Adversarial Net(https://arxiv.org/abs/1406.2661),可以细细品味。本博客在研读该论文的基础上,为加深理解,使用GAN生成对抗式网络生成手写数字。GAN的基本思想我们知道GAN...原创 2018-09-07 16:25:22 · 873 阅读 · 0 评论 -
卷积神经网络中感受野的理解和计算
参考https://blog.csdn.net/qq_27825451/article/details/83302662https://blog.csdn.net/program_developer/article/details/80958716https://blog.csdn.net/SIGAI_CSDN/article/details/80743475(卷积神经网络为什么有效)...原创 2018-10-29 11:35:20 · 18029 阅读 · 12 评论 -
第一问:1×1卷积层的作用?
1×1卷积层在实现全卷积神经网络中经常用到,即使用1*1的卷积层替换到全连接层,这样可以不限制输入图片大小的尺寸,使网络更灵活。实现跨通道的交互和信息整合。 1×1 的卷积层(可能)引起人们的重视是在 NIN 的结构中,论文中林敏师兄的想法是利用 MLP 代替传统的线性卷积核,从而提高网络的表达能力。文中同时利用了跨通道 pooling的角度解释,认为文中提出的 MLP 其实等价于在传统卷积核...原创 2018-11-05 17:11:26 · 8253 阅读 · 0 评论 -
第二问:小滤波器(卷积核)为什么有效?
一般而言,几个小滤波器卷积层的组合比一个大滤波器卷积层更好,比如层层堆叠了3个在3×3的卷积层,中间含有非线性激活层,在这种排列下面,第一个卷积层中每个神经元对输入数据的感受野是 3×3,第二个卷积层对第一个卷积层的感受野也是3×3,这样对于输入数据的感受野就是5×5,同样,第三个卷积层对第二个卷积层的感受野是3×3,这样第三个卷积层对于原始输入数据的感受野就是7×7。假设这里不使用3个3×3的...原创 2018-11-05 17:33:18 · 1741 阅读 · 0 评论 -
声纹识别技术
语音识别、声纹识别、语义识别的区别很多除接触AI的小伙伴, 不清楚语音识别和声纹识别的区别,经常混淆概念,以为语音识别、声纹识别、语义识别是同一回事,其实不然。声纹识别和语音识别在原理上一样,都是通过对采集到的语音信号进行分析和处理,提取相应的特征或建立相应的模型,然后据此做出判断。但二者的根本目的,提取的特征、建立的模型是不一样的。语音识别的目的: 识别语音的内容。并以电脑自动将人类的语音...原创 2018-12-18 22:32:30 · 8853 阅读 · 0 评论 -
深度学习中parameters个数和FLOPS计算(以CNN中经典的AlexNet网络结构为例)
面试时遇到过计算神经网路的参数个数以及FLOPS计算,当时对FLOPS计算比较蒙圈,这两天又看到了美团发布的技术博客对深度学习计算量的解决方案中又出现了FLOPS相关概念,所以通过查阅好多大佬的博客把FLOPS的计算问题理解清楚。前言深度学习的计算量上表列举了,ImageNet图像识别中常见算法的模型大小以及单张图片一次训练(One Pass)所需要的计算量。自2012年,Hinton的...原创 2019-01-30 11:53:58 · 22620 阅读 · 6 评论 -
深度学习框架:动态图 vs 静态图
动态图框架对应的是 命令式编程静态图框架对应的是 符号式编程命令式编程 vs 符号式编程参考https://blog.csdn.net/z0n1l2/article/details/80873608https://mxnet.incubator.apache.org/versions/master/architecture/program_model.html#symbolic-vs-...原创 2019-04-04 11:01:31 · 15812 阅读 · 3 评论 -
什么是Batch Normalization?
深度学习的一个本质问题Internal Covariate Shift什么是BN深度学习的一个本质问题深度神经网络一直以来就有一个特点:随着网络加深,模型会越来越难以训练。所以深度学习有一个非常本质性的问题:为什么随着网络加深,训练会越来越困难?为了解决这个问题,学界业界也一直在尝试各种方法。sigmoid作为激活函数一个最大的问题会引起梯度消失现象,这使得神经网络难以更...原创 2019-09-30 16:19:55 · 270 阅读 · 0 评论