![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
深圳湾刘能
耐得住寂寞,持续耕耘。
展开
-
LeNet和ResNet神经网络做CIFAR10图像分类(PyTorch)
图像分类的算法有很多,大部分其实都用CNN来提取图像的特征,今天我们一起来学习用PyTorch做CIFAR10数据集的分类。CIFAR10数据集是一个10个类的图像数据集,图片大小是32*32的。首先我们来看LeNet模型,这个模型进行图像识别的流程入下图所示:由上图可以清晰地看出整个的流程是经过一个卷积层,然后经过池化,再经过卷积,再进行一层池化层,最后是三个全连接层,最终输出10维的向量就...原创 2019-03-07 16:55:13 · 4578 阅读 · 1 评论 -
BP神经网络算法的理解
BP神经网络在百度百科中的解释就是:BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。大家应该对基本的神经网络模型有一定程度的了解,神经网络模型包含了很多神经元模型,每一个神经元都有着自己的权重,然后一般来说,典型的神经网路包含输入层,隐藏层和输...原创 2018-10-23 17:31:12 · 5789 阅读 · 5 评论 -
可视化visdom在PyTorch中的使用
相信大家在使用TensorFlow的时候都使用过它的可视化工具TensorBoard,这里给大家同样介绍一款PyTorch的可视化工具visdom,可以将我们训练过程中的数据可视化显示出来,更便于大家对于神经网络流程的理解与数据的分析。这里我们还是使用上一篇博客中讲到的手写数字识别MINIST数据集的例子。首先我们需要安装可视化工具visdom,打开终端:pip install visdom...原创 2019-03-02 15:15:48 · 2988 阅读 · 1 评论 -
PyTorch做神经网络MINIST数据集多分类
PyTorch是Facebook的AI研究团队发布的python工具包,主要用于深度学习。这篇文章我们一起学习一下如何使用PyTorch搭建神经网络训练分类模型,这里我们用的数据集是Yann LeCun的MINIST数据集。首先我们来看看需要哪些python库:import torchimport torch.nn as nnimport torch.nn.functional as Fi...原创 2019-02-27 14:36:16 · 6733 阅读 · 0 评论 -
Batch Normalization的理解
首先在神经网络中,每一层网络结构都会有一个激活函数,以我们比较常见的sigmoid函数为例,我们可以看看sigmoid激活函数的图像如图所示:我们试想一下,如果这个时候某个神经元的输入为4,那么经过sigmoid函数之后,这个神经元的输出是y=0.982y=0.982y=0.982,如果神经元的输入为20,经过sigmoid函数之后,神经元的输出是y=0.999y=0.999y=0.999。可...原创 2019-04-25 15:09:35 · 291 阅读 · 0 评论 -
LSTM架构详解
LSTM 是深度学习中很常见也很有用的一种算法,特别是在自然语言处理中更是经常用到,那么 LSTM 架构中的内部结构又是什么样子的呢?首先我们来看 LSTM 的整体框架:在这幅图中,中间是一个 LSTM 模块,有三个输入分别是:ct−1{c^{t - 1}}ct−1、ht−1{h^{t - 1}}ht−1 和 xtx^txt,然后经过 LSTM 之后,输出分别是 ct{c^t}ct、ht{h^...原创 2019-05-25 16:53:49 · 12843 阅读 · 9 评论 -
attention机制详解
attentionattentionattention机制一般来说会用在深度学习中,在图像处理和自然语言处理方面都有所应用,在自然语言处理中一般会用在机器翻译中,如下图所示,假设我们要翻译“机器学习”四个字:这是一个简易的RNNRNNRNN模型,h1−h4h1-h4h1−h4 是 t1−t4t1-t4t1−t4 输出的向量,这四个时刻的输入分别是“机”、“器”、“学”、“习” 四个字,这个时候...原创 2019-05-23 10:47:37 · 623 阅读 · 0 评论 -
随机梯度下降SGD算法理解
随机梯度下降算法(Stochastic gradient descent,SGD)在神经网络模型训练中,是一种很常见的优化算法。这种算法是基于梯度下降算法产生的,所以要理解随机梯度下降算法,必须要对梯度下降算法有一个全面的理解。梯度下降:这个算法我在之前的博文Logistic Regression的数学推导过程以及Python实现 中有详细的说明介绍,这里我们再来简单回顾一下梯度下降算法:假设...原创 2019-05-29 10:13:21 · 24131 阅读 · 9 评论