AutoEncoder 及其相关模型

引言 AutoEncoder 是 Feedforward Neural Network 的一种,曾经主要用于数据的降维或者特征的抽取,而现在也被扩展用于生成模型中。与其他 Feedforward NN 不同的是,其他 Feedforward NN 关注的是 Output Layer 和错误率...

2017-12-28 14:50:12

阅读数 2422

评论数 0

利用卷积神经网络实现图像风格迁移

相信很多人都对之前大名鼎鼎的 Prisma 早有耳闻,Prisma 能够将一张普通的图像转换成各种艺术风格的图像,今天,我们将要介绍一下Prisma 这款软件背后的算法原理。就是发表于 2016 CVPR 一篇文章, “ Image Style Transfer Using Convolut...

2017-12-27 14:14:20

阅读数 674

评论数 0

An overview of gradient descent optimization algorithms

http://ruder.io/optimizing-gradient-descent/ Heap edtion  Table of contents: Gradient descent variants Batch gradient descent...

2017-12-21 17:54:36

阅读数 107

评论数 0

深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)

前言 (标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。 SGD 此处的SGD指mini-batch gradient descent,关于batch gradient descent, st...

2017-12-21 15:30:17

阅读数 121

评论数 0

梯度下降算法中的Adagrad和Adadelta

梯度下降算法 目录 目录AdagradAdadelta Adagrad 与梯度下降不同的是,更新规则中,对于学习率不在设置固定的值,每次迭代过程中,每个参数优化时使用不同的学习率。  假设 某次迭代时刻t,gt,i=∇θJ(θi...

2017-12-21 15:25:54

阅读数 499

评论数 0

深度学习笔记:优化方法总结

深度学习笔记(一):logistic分类  深度学习笔记(二):简单神经网络,后向传播算法及实现  深度学习笔记(三):激活函数和损失函数  深度学习笔记:优化方法总结  深度学习笔记(四):循环神经网络的概念,结构和代码注释  深度学习笔记(五):LSTM  深度学习笔记(六):En...

2017-12-21 14:42:06

阅读数 181

评论数 0

分析 Dropout

摘要: 本文详细介绍了深度学习中dropout技巧的思想,分析了Dropout以及Inverted Dropout两个版本,另外将单个神经元与伯努利随机变量相联系让人耳目一新。 过拟合是深度神经网(DNN)中的一个常见问题:模型只学会在训练集上分类,这些年提出的许多过拟合问题的解决方案;...

2017-12-18 17:52:58

阅读数 5970

评论数 0

多图|一文看懂25个神经网络模型

在深度学习十分火热的今天,不时会涌现出各种新型的人工神经网络,想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写(如:DCIGN、BiLSTM、DCGAN……还有哪些?),就已经让人招架不住了。 因此,这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经...

2017-12-14 16:50:36

阅读数 3307

评论数 0

线性SVM与SoftMax分类器

1. 线性分类器 在深度学习与计算机视觉系列(2)我们提到了图像识别的问题,同时提出了一种简单的解决方法——KNN。然后我们也看到了KNN在解决这个问题的时候,虽然实现起来非常简单,但是有很大的弊端: 分类器必须记住全部的训练数据(因为要遍历找近邻啊!!),而在任何实际的图像训练集上,...

2017-12-08 08:56:54

阅读数 238

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭