- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 深度学习（四十）优化求解系列（2）简单理解神经网络求解过程-未完待续
对于神经网络的求解过程BP，其实说白了就是复合函数的求导过程，所以我们需要先复习一下高数复合函数的求导过程。一、复合函数的求导法则1、复合函数：此函数是一个包含了三层映射过程的复合函数，为了跟后面我们所要学习的神经网络优化求解相接轨，我们采用如下映射过程，来表示这样的一个复合函数(相当于一个四层的神经网络前向映射过程)：
2016-06-26 20:07:42
2197
1
原创 深度学习（三十九）可视化理解卷积神经网络(2.0)
学习文献：《Visualizing and Understanding Convolutional Networks》——利用反卷积神经网络可视化CNN学习目的：学习CNN可视化，了解CNN每层所学到的特征；学习dense prediction问题专用网络—反卷积神经网络之前已经写过卷积神经网络的可视化，最近做了一个新版总结PPT，同时也讲解了相关经典网络的应用场景，因此在此贴一下，分享给大家。
2016-06-26 11:38:50
7855
原创 深度学习（三十八）卷积神经网络入门学习(2.0)
CNN网络主要组成：卷积层、池化层、全连接层组成，上节所讲MLP只涉及到全连接层，所以我们学习一个CNN，首要的任务就是学习卷积层、池化层。声明：对于CNN来说，卷积层一般包含了两个基本操作：卷积+激活函数层(就像全连接层一样，也包含线性加权组织+激活函数层)。在后续讲解中，为了便于理解网络结构，我们先暂时忽略激活函数映射。
2016-06-26 10:54:58
7653
3
原创 深度学习（三十七）优化求解系列之(1)简单理解梯度下降
最近觉得有必要对深度学习的优化求解方法，以及各种网络的反向求导做一个总结，所以决定写一个系列文章：主要包含：理解梯度弥散、梯度溢出、BP、BPTT，以及RNN、CNN等各种网络层的求导方法，所以本篇文章将从最简单的梯度下降法开始讲起。一、什么是梯度下降法1、数学最小优化问题：已知一个任意函数L(w,x0,y0)，x0，y0是个常数，w是自变量；(x0,y0是常数，因此我们也直接把函数写成L(w)，我是因为后面为了讲解神经网络所以才把它们写出)，L(w,x0,y0)可为任意复杂的函数,比如：
2016-06-05 17:08:20
3245
1
原创 深度学习（四十二）word2vec词向量学习笔记
一、使用原版word2vec工具训练1、到官网到下载，然后选择export 到github2、编译：make3、下载测试数据http://mattmahoney.net/dc/text8.zip，并解压4、输入命令train起来：time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter
2016-06-02 10:57:56
11030
原创 深度学习（六十）网络压缩简单总结
增加L2权重增加L2权重可以让更多的权重，靠近0，这样每次修剪的比例大大增加。四、从结构上，简化网络计算，这些需自己阅读比较多相关文献，才能设计
2016-06-02 10:56:45
4676
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人