深度学习
文章平均质量分 73
ChasingdreamLY
一个不想写程序又想赚钱的码农......
展开
-
深度学习: 验证集 & 验证集 区别
区别类别 验证集 测试集 是否被训练到 否 否 作用 纯粹用于调超参数 纯粹为了加试以验证泛化性能 使用次数 多次使用,以不断调参 仅仅一次使用 缺陷 模型在一次次重新手动调参并继续训练后所逼近的验证集,可能只代表一部分非训练集,导致最终训练好的模型泛化性能不够 测试集为了具有泛化代表性,往往数据量比较大,测试一轮要很...转载 2018-07-16 16:42:30 · 2857 阅读 · 1 评论 -
卷积神经网络CNN总结
从神经网络到卷积神经网络(CNN)我们知道神经网络的结构是这样的:那卷积神经网络跟它是什么关系呢?其实卷积神经网络依旧是层级网络,只是层的功能和形式做了变化,可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。 卷积神经网络的层级结构 • 数据输入层/ Input layer • 卷积计算层/ CONV layer • ReLU激励层 / ReLU layer...转载 2018-06-10 20:02:15 · 369 阅读 · 0 评论 -
卷积神经网络CNN与深度学习常用框架的介绍与使用
一、神经网络为什么比传统的分类器好1.传统的分类器有 LR(逻辑斯特回归) 或者 linear SVM ,多用来做线性分割,假如所有的样本可以看做一个个点,如下图,有蓝色的点和绿色的点,传统的分类器就是要找到一条直线把这两类样本点分开。对于非线性可分的样本,可以加一些kernel核函数或者特征的映射使其成为一个曲线或者一个曲面将样本分开。但为什么效果不好,主要原因是你很难保证样本点的分布会如图所示...转载 2018-06-10 20:00:55 · 546 阅读 · 0 评论 -
2018 年 深度学习框架 盘点 比较 推荐
深度学习领域发展迅猛,江湖风起云涌。在此,咪博士为大家细细盘点、比较,各大深度学习框架。也祝大家都能训出好模型,调出好参数。以下是咪博士的观点,供大家参考:如果你是初学者,那么推荐选择 Keras 或 Gluon 这样简单易用的接口入门。至于是 Keras 还是 Gluon 就不必太纠结了,因为二者都很容易上手,完全可以都学一下。如果非要分个先后的话,可以先试试 Gluon 毕竟开发者是中国人,有...转载 2018-06-09 19:52:38 · 1088 阅读 · 0 评论 -
深度学习笔记:激活函数和损失函数
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中,激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上,这两部分都有很多其他不错的选项,下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数,首先要搞清楚的问题是,激活函数是什么,有什么用?不用激活函数可不可以?答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那...转载 2018-06-06 21:33:52 · 560 阅读 · 0 评论 -
独热编码(One-Hot Encoding)介绍及实现
一、介绍在数据处理和特征工程中,经常会遇到类型数据,如性别分为[男,女](暂不考虑其他。。。。),手机运营商分为[移动,联通,电信]等,我们通常将其转为数值带入模型,如[0,1], [-1,0,1]等,但模型往往默认为连续型数值进行处理,这样其实是违背我们最初设计的,也会影响模型效果。 独热编码便是解决这个问题,其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任...原创 2018-06-06 20:17:58 · 3584 阅读 · 0 评论 -
深度学习中关于自编码器的意义的理解
各位小伙伴们,大家好,今天让我们来如何用神经网络来处理非监督的学习,也就是AutoEncoder,自编码。首先,我们听到自编码,一定会想到,AutoEncoder会是个什么码呢?是条形码,二维码,还是我们宅男们最不能忍受的打码中的一种呢?NO.NO.NO,和他们都没有关系,其实自编码是一种神经网络形式,如果你一定要和上面的那些码扯上关系,我想可以这样理解了。现在我们先构架一个神经网络模型,这个模型是原创 2018-04-23 16:43:56 · 8904 阅读 · 0 评论 -
自动编码器(Auto Encoder)
1.初识Auto Encoder1986 年Rumelhart 提出自动编码器的概念,并将其用于高维复杂数据处理,促进了神经网络的发展。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如y(i)=x(i) 。下图是一个自编码神经网络的示例。自动编码器(autoencoder) 是神经网络的一种,该网络可以看作由两部分组成:一个编码器函数h = f(x) 和一个生成转载 2018-04-22 14:37:07 · 46766 阅读 · 11 评论 -
论文笔记---深度学习之VGG模型解读
本文是对 VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 论文的解读,论文下载地址为:https://arxiv.org/pdf/1409.1556.pdf%20http://arxiv.org/abs/1409.1556.pdf(需要FQ,各显神通吧)————————————————————————————...转载 2018-07-16 20:53:17 · 2836 阅读 · 2 评论 -
深度学习中Embedding层有什么用?
这篇博客翻译自国外的深度学习系列文章的第四篇,想查看其他文章请点击下面的链接,人工翻译也是劳动,如果你觉得有用请打赏,转载请打赏:Setting up AWS & Image Recognition Convolutional Neural Networks More on CNNs & Handling Overfitting在深度学习实验中经常会遇Eembedding...转载 2018-12-26 14:47:43 · 1518 阅读 · 0 评论 -
深度学习中的注意力机制
作者 | 张俊林责编 | 何永灿 最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例,深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制,同时也抽象出其本质思想,并介绍了注意力模型在图像及语音等领域的典型应用场景。注意力...转载 2018-12-20 15:54:46 · 396 阅读 · 0 评论 -
常用激活函数比较
本文结构:什么是激活函数 为什么要用 都有什么 sigmoid ,ReLU, softmax 的比较 如何选择1. 什么是激活函数如下图,在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是...转载 2018-12-02 10:39:12 · 361 阅读 · 0 评论 -
怎样提升深度学习的性能?
你是如何提升深度学习模型的效果? 这是我经常被问到的一个问题。有时候也会换一种问法:我该如何提高模型的准确率呢? ……或者反过来问:如果我的网络模型效果不好,我该怎么办?通常我的回答是“具体原因我不清楚,但我有一些想法可以试试”。然后我会列举一些我认为能够提升性能的方法。为了避免重复罗列这些内容,我打算在本文中把它们都写出来。 这些想法不仅可以用于深度学习,事实上可以用在任何机器学习的算法上。那么...转载 2018-12-02 10:38:00 · 383 阅读 · 0 评论 -
LSTM学习笔记
Long Short-Term Memory(LSTM) 是一种循环神经网络(Recurrent Neural Network, RNN)。跟所有RNN一样,在网络单元足够多的条件下,LSTM可以计算传统计算机所能计算的任何东西。Like most RNNs, an LSTM network is universal in the sense that given enough networ...转载 2018-10-24 16:56:21 · 1888 阅读 · 0 评论 -
卷积神经网络(CNN)之一维卷积、二维卷积、三维卷积详解
由于计算机视觉的大红大紫,二维卷积的用处范围最广。因此本文首先介绍二维卷积,之后再介绍一维卷积与三维卷积的具体流程,并描述其各自的具体应用。1. 二维卷积 图中的输入的数据维度为14×1414×14,过滤器大小为5×55×5,二者做卷积,输出的数据维度为10×1010×10(14−5+1=1014−5+1=10)。如果你对卷积维度的计算不清楚,可以参考我之前的博客吴恩达深度学习笔记(...转载 2018-10-09 20:14:01 · 7379 阅读 · 1 评论 -
详细解释CNN卷积神经网络各层的参数和连接个数的计算
积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 图:卷积神经网络的概念示范:输入图像通过和三个可训练的滤波器和可加偏置进行卷积,滤波过程如图一,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和...转载 2018-09-29 21:59:41 · 2653 阅读 · 0 评论 -
LSTM 实际神经元隐含层物理架构原理解析
最近看一些基于LSTM网络的NLP案例代码,其中涉及到一些input_size, num_hidden等变量的时候,可能容易搞混,首先是参照了知乎上的一个有关LSTM网络的回答https://www.zhihu.com/question/41949741, 以及github上对于LSTM比较清晰的推导公式http://arunmallya.github.io/writeups/nn/lstm/in...转载 2018-09-16 14:52:53 · 4093 阅读 · 0 评论 -
CNN经典模型汇总
本文主要对CNN领域的经典模型进行汇总,算是对近期的学习做一个小总结。基础知识作为深度学习的基础,神经网络这个算法是必须要有深入的了解的,这里不介绍太多,简单介绍一下原理和单个神经元的结构:一、BP神经网络的概念BP神经网络是一种多层的前馈神经网络,其主要的特点是:信号是前向传播的,而误差是反向传播的。具体来说,对于如下的只含一个隐层的神经网络模型:BP神经网络的过程主要分为两个阶段,第一阶段是信号原创 2018-04-03 16:55:28 · 54456 阅读 · 4 评论 -
Caffe:深度学习中 epoch,[batch size], iterations的区别
始终感觉卡在深度学习的入门,感觉找不着路,慢慢来吧,这是我之前一直不太理解的三个参数,做个记录:在大部分深度学习架构中都抛不开三个概念epoch,[batch size], iterations;接下来就对这三个概念逐一解释一下。one epoch:所有的训练样本完成一次Forword运算以及一次BP运算。batch size:一次Forword运算以及BP运算中所需要的训练样本数目,其实深度学习每转载 2018-03-21 17:21:37 · 385 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(五)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。 目录: 一、概述 二、背转载 2018-01-09 20:25:51 · 165 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(四)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。 目录: 一、概述 二、背转载 2018-01-09 20:13:53 · 148 阅读 · 0 评论 -
tensorflow中tf.random_normal和tf.truncated_normal的区别
1、tf.truncated_normal使用方法tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从截断的正态分布中输出随机值。 生成的值服从具有指定平均值和标准偏差的正态分布,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。在正态分布的曲线中,横轴区间(μ-σ,转载 2018-01-23 22:32:33 · 244 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列(七)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。目录: 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度转载 2017-12-15 23:50:23 · 326 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(三)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 目录: 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的转载 2017-12-14 22:05:18 · 188 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(二)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 目录: 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的转载 2017-12-14 21:05:56 · 139 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(一)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 目录: 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的转载 2017-12-14 20:54:32 · 251 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(六)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。目录: 一、概述 二、背景转载 2018-01-09 20:46:33 · 144 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(八)
声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。目录: 一、概述 二、背景转载 2018-01-09 21:10:10 · 219 阅读 · 0 评论 -
深度学习优化函数详解(6)-- adagrad
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 17:18:06 · 1080 阅读 · 0 评论 -
深度学习优化函数详解(5)-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 17:01:46 · 1401 阅读 · 2 评论 -
深度学习优化函数详解(4)-- momentum 动量法
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 16:51:48 · 2128 阅读 · 0 评论 -
深度学习优化函数详解(3)-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 16:40:21 · 2585 阅读 · 2 评论 -
深度学习优化函数详解(2)-- SGD 随机梯度下降
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 16:35:30 · 984 阅读 · 0 评论 -
深度学习优化函数详解(1)-- Gradient Descent 梯度下降法
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 16:29:46 · 699 阅读 · 0 评论 -
深度学习优化函数详解(0)-- 线性回归问题
深度学习优化函数详解系列目录 深度学习优化函数详解(0)– 线性回归问题 深度学习优化函数详解(1)– Gradient Descent 梯度下降法 深度学习优化函数详解(2)– SGD 随机梯度下降 深度学习优化函数详解(3)– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解(4)– momentum 动量法 深度学习优化函数详解(5)– Neste转载 2018-03-24 16:10:16 · 1266 阅读 · 0 评论 -
深度网络VGG理解
前言: ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络,现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。 他们最好的网络包含了16个卷积/全连接层。网络的结构非常一致,从头到尾全部使用的是3x3的卷积和2x2的汇聚。他们的预训练模型是可以在网络上获得并在Caffe中使用的。 VGGNet不好的一转载 2018-02-26 20:57:03 · 4089 阅读 · 0 评论 -
通俗理解生成对抗网络GAN
0. 引言自2014年Ian Goodfellow提出了GAN(Generative Adversarial Network)以来,对GAN的研究可谓如火如荼。各种GAN的变体不断涌现,下图是GAN相关论文的发表情况:图1 GAN相关论文发表情况大牛Yann LeCun甚至评价GAN为 “adversarial training is the coolest thing since...转载 2018-12-23 21:10:44 · 1939 阅读 · 0 评论