2017年01月_Eason.wxd

转载系统学习深度学习（七）--主流深度学习开源框架对比

转自：http://blog.csdn.net/u010167269/article/details/51810613，本文做了相关修改。参考论文：《Comparative Study of Deep Learning Software Frameworks》，这篇文章对现在流行的五个开源深度学习框架caffe、Neon、TensorFlow、Theano、Torch 做了比较，很严谨。作

2017-01-23 11:05:47 12149

转载系统学习深度学习（六） --LSTM总结

转自：http://blog.csdn.net/shincling/article/details/493621611. 概念：Long short-termmemory (LSTM)is a recurrent neuralnetwork (RNN)architecture (an artificialneural network)published[1] in 1997 b

2017-01-14 09:56:57 19539 1

转载系统学习深度学习（五） --递归神经网络原理，实现及应用

递归神经网络（RNN），是两种人工神经网络的总称，一种是时间递归神经网络（recurrent neural network），另一种是结构递归神经网络（recursive neural network）。现在大多数人把recurrent neural network称作循环神经网络，一般RNNs都指循环神经网络，也就是recurrent neural network。时间递归神经网络的神经元间

2017-01-13 10:47:45 18757 2

原创系统学习深度学习（四） --CNN原理，推导及实现源码分析

之前看机器学习中，多层感知器部分，提到可以在设计多层感知器时，对NN的结构设计优化，例如结构化设计和权重共享，当时还没了解深度学习，现在看到CNN，原来CNN就是这方面的一个代表。CNN由纽约大学的Yann LeCun于1998年提出。CNN本质上是一个多层感知机，其成功的原因关键在于它所采用的局部连接和共享权值的方式，一方面减少了的权值的数量使得网络易于优化，另一方面降低了过拟合的风险。下面...

2017-01-12 09:10:44 48984 1

原创系统学习深度学习（三） --RBM及DBN

转自：http://blog.csdn.net/yt7589/article/details/52487505另外，有一篇文章《RBM原理理解》写的很详细，每个过程都有详细推导，也就通俗化的理解。我这里也有做根据文章对博文做了相关补充。我们目前的讨论的神经网络，虽然学习算法不同，但基本上架构还是相同的，就是都是分层网络，即神经元按层进行组织，层内神经元无连接，层间神经元间有连接。我们在这篇...

2017-01-10 13:41:40 33600 6

转载系统学习深度学习（二） --自编码器，DA算法，SDA，稀疏自编码器

转自：http://blog.csdn.net/zouxy09/article/details/87755249.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得

2017-01-10 13:21:56 14446

原创系统学习深度学习（一） --深度学习与神经网络关系

参考：http://blog.csdn.net/zouxy09/article/details/8775518最近开始学习深度学习，基本上都是zouxy09博主的文章，写的蛮好，很全面，也会根据自己的思路，做下删减，细化。Deep Learning的基本思想假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>...

2017-01-10 11:14:39 50785 8

原创系统学习机器学习之神经网络（十二） --人工神经网络总结

本来这篇还缺个RBM，但RBM在DBN中使用，暂时放在深度学习那里。这里看到一篇非常好的总结，保存下来。转自：http://blog.csdn.net/fengbingchun/article/details/50274471本文主要对人工神经网络基础进行了描述，主要包括人工神经网络的概念、发展、特点、结构、模型。本文是个科普文，来自网络资料的整理。一、人...

2017-01-09 17:32:05 36344

转载系统学习机器学习之神经网络（十） --BAM网络

联想记忆网络的研究是神经网络的重要分支，在各种联想记忆网络模型中，由B·Kosko于1988年提出的双向联想记忆（Bidirectional Associative Memory，BAM）网络的应用最为广泛。前面介绍过的Hopfiled网络可实现自联想，具体内容可以参考博文《反馈神经网络Hopfield网络》。而BAM网络可以实现双向异联想，具有离散型、连续型和自适应型等多种形式。本篇博文主要

2017-01-09 17:13:08 11562 1

转载系统学习机器学习之神经网络（九） --Hopfield网络

转自：http://blog.csdn.net/lg1259156776/article/details/47323889一、前言经过一段时间的积累，对于神经网络，已经基本掌握了感知器、BP算法及其改进、AdaLine等最为简单和基础的前馈型神经网络知识，下面开启的是基于反馈型的神经网络Hopfiled神经网络。前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性

2017-01-09 16:52:07 13212 1

转载系统学习机器学习之神经网络（八） --ADALINE网络

转自：http://www.jianshu.com/p/3c271d59b14c自适应线性神经网络:ADAptive LInear NEuron (Adaline)大纲1. look --- 比Rosenblatt感知器算法的优势2. write --- 吐槽实验结果3. code --- python对比Rosenblatt憋说话，先上图　-.-Rosen

2017-01-09 13:28:47 10630

转载系统学习机器学习之神经网络（六） --GrossBerg网络

原文：http://m.blog.csdn.net/article/details?id=52574264这里先介绍GrossBerg网络是因为后面CPN中，输出层会用到GrossBerg网络，所以，先做些简单说明。1.生物学启发 Grossberg网络是受到了人类视觉系统的生理学研究的启发如图，视网膜是大脑的一部分，它由三层神经细胞组成：外层光感受

2017-01-09 11:06:04 7276

转载系统学习机器学习之神经网络（七） --CPN

1987年，美国学者Robert Hecht-Nielsen提出了对偶传播神经网络模型（Counter Propagation Network，CPN），CPN最早是用来实现样本选择匹配系统的。CPN 网能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等用途。1. 网络结构与运行原理网络结构如图所示，各层之间的神经元全互联连接。从

2017-01-09 10:55:40 10111

转载系统学习机器学习之神经网络（三）--GA神经网络与小波神经网络WNN

1 遗传算法 1．1 遗传算法简介：遗传算法是一类借鉴生物界的进化规律（适者生存，优胜劣汰遗传机制）演化而来的随机化搜索方法。它是由美国的 J.Holland 教授 1975 年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的

2017-01-09 09:45:26 23818 3

工作笔记