![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
piupiurui
努力的rui~
展开
-
一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)
一维卷积神经网络(1D-CNN)一维卷积常用在序列模型、自然语言处理领域;假设输入数据维度为8,filter维度为5;不加padding时,输出维度为4,如果filter的数量为16,那么输出数据的shape就是;二维卷积神经网络(2D-CNN)二维卷积常用在计算机视觉、图像处理领域(在视频的处理中,是对每一帧图像分别利用CNN来进行识别,没有考虑时间维度的信息);假设原始图像 shape 为(其中3为3个通道),使用32个大小为(其中3为深度,与通道数相同)的卷积核对其进行原创 2020-06-05 11:20:56 · 53578 阅读 · 7 评论 -
CNN典型模型 —— ResNet
ResNet 网络模型于2015年 ImageNet 比赛中提出;将网络层次提高到152层,错误率降低到了3.57%,主要解决网络退化问题;为什么深层神经网络比浅层神经网络更有效?浅层结构对复杂函数的表示能力有限,深层神经网络可以通过学习一种深层非线性网路结构,实现复杂函数的逼近,可以从少数样本中学习数据集本质特征。但是此前的实验表明,随着网络层次的增加效果会变差,例如,56层的网络结构和20层的网络结构的错误率的对比如下图:梯度消失或梯度弥散问题可以通过加入正则化解决; 训练原创 2020-05-15 21:12:44 · 936 阅读 · 0 评论 -
DL —— 循环神经网络(Recurrent Neural Network,RNN)
普通的神经网络无法预测前后有关联的数据信息,因为无法“记住”之前发生的数据;RNN 在分析新状态时,将之前的分析结果再次加进来一起分析,这样就可以分析前后有关联的信息;RNN 可以用来:描述图片、翻译、分析语言感情色彩……...原创 2020-05-07 18:46:20 · 432 阅读 · 0 评论 -
长短期记忆(Long Short-Term Memory,LSTM)
普通的 RNN 会由于梯度消失或梯度弥散无法回忆起久远记忆(若预测所需关键信息出现在数据开头,RNN 分析到数据末尾时,将误差反向传播到开头,容易因梯度消失或梯度弥散而出现误差无限小或无限大);为了解决上述问题,提出了 LSTM;LSTM 相比于普通 RNN 多了一个全局控制器、输入控制、输出控制、忘记控制;若某一输入对于全局结果较重要,就会按照重要程度加入全局控制器中再进行分析; ...原创 2020-05-07 20:16:18 · 1853 阅读 · 0 评论 -
如何计算卷积后的图像尺寸
N = (W - F + 2*P)/S+ 1其中:N:输出图像的尺寸N*N;W:输入图像的尺寸W*W;F:卷积核(filter)的边长F*F;S:卷积的步长(stride);P:padding大小;若想通过设置padding保证卷积前后图像大小不变,可令 N = W,解出 p(即padding = (W+1)/2 向上取整即可);...原创 2020-04-08 20:10:43 · 5282 阅读 · 3 评论 -
CNN典型模型及pytorch实现 —— VGGNet
VGG 是一种比较稳定的model(实际上是AlexNet 结构的扩展),连续的 conv 多,计算量巨大,需要更大的存储空间;2014年竞赛的第二名,但是在一些迁移模型中的表现要优于第一名 GoogleNet;而且在图像中提取 CNN 特征 VGG 是首选模型;VGG 模型特点:采用更小的卷积核(将卷积核全部替换为3*3,极少还使用1*1的卷积核); 还采用较小的池化核,相比于 ...原创 2020-04-08 19:36:06 · 1296 阅读 · 0 评论 -
CNN典型模型及pytorch实现 —— GoogleNet
14年的冠军 model;GoogleNet(把网络结构增加到了22层)证明了用更多的卷积、更深的层次,可以得到更好的效果;但是纯粹增大网络也有一些缺点:参数太多,容易过拟合; 网络越大,计算的复杂度越大; 网络越深,越容易出现梯度消失或梯度弥散;为了在增加网络深度和宽度的同时减少参数,提出了 Inception;GoogleNet 和 AlexNet 结构的区别在于中间有好...原创 2020-04-05 11:17:45 · 1216 阅读 · 0 评论 -
CNN典型模型及pytorch实现 —— AlexNet
AlexNet是2012年ImageNet比赛的冠军model,以第一作者alex命名;(关于ImageNet:超过1400万的图像URL被ImageNet手动注释,以指示图片中的对象;在至少一百万个图像中,提供了边界框,ImageNet包含2万多个类别,ImageNet挑战使用了一个“修剪”的1000个非重叠类的列表【参考百度百科】)AlexNet用于解决图像分类问题;它证明了CNN在复杂模...原创 2020-03-29 20:45:56 · 1108 阅读 · 1 评论 -
CNN典型模型及pytorch实现 —— LeNet
LeNet于1989年提出的一种网络结构,目前在各大深度学习框架中使用的是简化版的LeNet-5,与原始的结构区别在于把激活函数换成了ReLU;LeNet奠定了卷积层+池化层+全连接层的结构,初用于手写数字的识别问题,输入为单通道的灰度图;LeNet网络结构图:第一层:输入层输入层是32 * 32大小的图像(Mnist数据库为28 * 28大小),目的是希望潜在的明显特征出现在最高层特征...原创 2020-03-29 10:32:27 · 377 阅读 · 0 评论 -
深度网络的训练过程与方法
第一步:自下而上的无监督学习(这一步是网络参数初始化得过程,区别于传统神经网络初值随机初始化,深度学习模型通过无监督学习输入数据进行初始化,因此这个初值更接近全局最优,从而能够取得更好的效果。)逐层构建单层神经元,每层采用wake-sleep算法进行调优,每次仅调整一层,逐层调整(这个过程看作是一个feature learning的过程,是和传统神经网络区别最大的部分);wake-sleep...原创 2020-03-28 14:49:31 · 3085 阅读 · 0 评论 -
什么是生成模型、判别模型
生成模型:非监督学习中,通过算法找到样本数据X的概率分布P(X)(即得到生成模型P(X));判别模型:已知样本标签分类的条件下,通过监督学习,预测数据样本X的分类Y,得到判别模型P(Y|X)。...原创 2020-03-28 14:14:54 · 1207 阅读 · 0 评论 -
DL —— 卷积神经网络(convolutional neural networks,CNN)
卷积神经网络是深度学习最核心的部分;最早用于美国银行系统识别手写支票;卷积神经网络一、训练数据因为卷积神经网络是为了解决图像领域的应用而提出的网络结构,所以训练数据一般为视频图像数据(张量数据,tensor);可以根据图像的性质对CNN的结构进行设计,使得CNN相比一般的神经网络结构更加高效、性能更好。其中:X(i)是第i张图像;H * W * D是每个图像的尺寸;D表示整个训练...原创 2020-03-27 19:32:03 · 901 阅读 · 0 评论