深度学习概念
文章平均质量分 82
lanxin0802
这个作者很懒,什么都没留下…
展开
-
Hopfield模型
原文地址:Hopfield模型作者:yaya1982年,J.Hopfield提出了可用作联想存储器的互连网络,这个网络称为Hopfield网络模型,也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络,从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。反馈神经网络由于其输出端有反馈到其输入端;所以,Hopfield网络在输入的激励下,会产生不断的状态变化。转载 2017-03-24 11:18:57 · 2226 阅读 · 0 评论 -
Deep learning:三十七(Deep&…
Deeplearning:三十七(Deep learning中的优化方法) 内容: 本文主要是参考论文:On optimization methods for deeplearning,文章内容主要是笔记SGD(随机梯度下降),LBFGS(受限的BFGS),CG(共轭梯度法)三种常见优化算法的在deeplearning体系中的性能。下面是一些读完的笔记。 SGD优点原创 2017-03-24 11:19:42 · 674 阅读 · 0 评论 -
Deep learning:七(基础知识_2)
前面的文章已经介绍过了2种经典的机器学习算法:线性回归和logistic回归,并且在后面的练习中也能够感觉到这2种方法在一些问题的求解中能够取得很好的效果。现在开始来看看另一种机器学习算法——神经网络。线性回归或者logistic回归问题理论上不是可以解决所有的回归和分类问题么,那么为什么还有其它各种各样的机器学习算法呢?比如这里马上要讲的神经网络算法。其实原因很简单,在前面的一系列博文练习中可以原创 2017-03-24 11:19:45 · 388 阅读 · 0 评论 -
Deep learning:十六(deep&nb…
1.从self-taught到deep networks: 从前面的关于self-taught learning介绍(Deeplearning:十五(Self-TaughtLearning练习))可以看到,该ML方法在特征提取方面是完全用的无监督方法,本次要讲的就是在上面的基础上再用有监督的方法继续对网络的参数进行微调,这样就可以得到更好的效果了。把self-taughtlearni原创 2017-03-24 11:19:48 · 262 阅读 · 0 评论 -
Deep learning:十八(关于随机采样
) 由于最近在看deeplearning中的RBMs网络,而RBMs中本身就有各种公式不好理解,再来几个Gibbs采样,就更令人头疼了。所以还是觉得先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法(sampling),该博文是网上找到的解释得最通俗的。其实学校各种带数原创 2017-03-24 11:19:51 · 469 阅读 · 0 评论 -
Deep learning:三十(关于数据预处…
前言: 本文主要是介绍下在一个实际的机器学习系统中,该怎样对数据进行预处理。个人感觉数据预处理部分在整个系统设计中的工作量占了至少1/3。首先数据的采集就非常的费时费力,因为这些数据需要考虑各种因素,然后有时还需对数据进行繁琐的标注。当这些都有了后,就相当于我们有了元素的raw数据,然后就可以进行下面的数据预处理部分了。本文是参考的UFLDL网页教程:DataPreprocessing,在原创 2017-03-24 11:19:54 · 474 阅读 · 0 评论 -
限制波尔兹曼机
1.1限制波尔兹曼机(RBM)使用方法 1.1.1 RBM的使用说明 一个普通的RBM网络结构如下。以上的RBM网络结构有m个可视节点和n个隐藏节点,其中每个可视节点只和n个隐藏节点相关,和其他可视节点是独立的,就是这个可视节点的状态只受n个隐藏节点的影响,对于每个隐藏节点也是,只受m个可视节点的影响,这个特点使得RBM的训练变得容易了。RBM网络有几个参数,一个原创 2017-03-24 11:19:59 · 568 阅读 · 0 评论 -
「深度神经网络」(deep&nbs…
原文地址:neural network)具体是怎样工作的">「深度神经网络」(deep neural network)具体是怎样工作的作者:dengyafeng转发自知乎:http://www.zhihu.com/question/19833708?group_id=15019075#1657279由于作者匿名,只好默默感谢了。多层的好处是可以用较少的参数表示复杂的函数。在监督学习转载 2017-03-24 11:20:25 · 595 阅读 · 0 评论 -
[转]Deep Learning(深度学…
原文地址:Learning(深度学习)学习笔记整理系列">[转]Deep Learning(深度学习)学习笔记整理系列作者:kkwangburg作者整理了很多深度学习的资料写成的学习笔记,非常适合初学者了解深度学习的概念和思想。转自:http://blog.csdn.net/zouxy09/article/details/8775360目录:一、概述二、背景三、人脑视觉机理转载 2017-03-24 11:20:40 · 524 阅读 · 0 评论 -
接上篇用NN降维
MINST识别实验: MINST手写数字库的识别部分和前面的降维部分其实很相似。首先它也是预训练整个网络,只不过在MINST识别时,预训练的网络部分需要包括输出softmax部分,且这部分预训练时是用的有监督方法的。在微调部分的不同体现在:MINST降维部分是用的无监督方法,即数据的标签为原始的输入数据。而MINST识别部分数据的标签为训练样本的实际标签 在进行MINST手写数字体识别原创 2017-03-24 11:19:39 · 593 阅读 · 0 评论 -
Deep learning:三十五(用NN…
Deeplearning:三十五(用NN实现数据降维练习) 前言: 本文是针对上篇博文Deeplearning:三十四(用NN实现数据的降维)的练习部分,也就是Hition大牛science文章reducingthe dimensionality of data with neuralnetworks的code部分,其code下载见:http://www.cs.toronto原创 2017-03-24 11:19:36 · 614 阅读 · 0 评论 -
Deep learning:五(regulariz…
Deeplearning:五(regularized线性回归练习) 前言: 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。因此在模型的损失函数中,需要对模型的参数进行“惩罚”,这样的话这些参数就不会太大,而越小的参数说明模型越简单,越简单的模型则越不容易产生原创 2017-03-24 11:19:33 · 438 阅读 · 0 评论 -
深度学习-限制玻尔兹曼机
Deep learning:RBM简单理解 这篇博客主要用来简单介绍下RBM网络,因为deeplearning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我们对DBN算法以及deeplearning算法的进一步理解。Deeplearning是从06年开始火得,得益于大牛Hinton的文章,不过这位大牛的文章比较晦涩难懂,公式太多,对于我这种菜鸟原创 2017-03-24 11:19:00 · 438 阅读 · 0 评论 -
什么是深度学习?
深度学习(Deep Learning),又叫Unsupervised Feature Learning或者FeatureLearning,是目前非常热的一个研究主题。本文将主要介绍Deep Learning的基本思想和常用的方法。一. 什么是Deep Learning?实际生活中,人们为了解决一个问题,如对象的分类(对象可是是文档、图像等),首先必须做的事情是如何来表达一个对象,即必原创 2017-03-24 11:19:03 · 2713 阅读 · 0 评论 -
机器学习-深度学习之前的基础
http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning原创 2017-03-24 11:19:16 · 350 阅读 · 0 评论 -
Deep learning:一(基础知识_1)
Deeplearning:一(基础知识_1) 前言: 最近打算稍微系统的学习下deep learing的一些理论知识,打算采用AndrewNg的网页教程UFLDLTutorial,据说这个教程写得浅显易懂,也不太长。不过在这这之前还是复习下machinelearning的基础知识,见网页:http://openclassroom.stanford.edu/MainFolder原创 2017-03-24 11:19:19 · 207 阅读 · 0 评论 -
Deep learning:二(linear&nb…
Deep learning:二(linearregression练习) 前言 本文是多元线性回归的练习,这里练习的是最简单的二元线性回归,参考斯坦福大学的教学网http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html。原创 2017-03-24 11:19:22 · 240 阅读 · 0 评论 -
Deep learning:三(Multivari…
Deep learning:三(Multivariance LinearRegression练习) 前言: 本文主要是来练习多变量线性回归问题(其实本文也就3个变量),参考资料见网页:http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/e原创 2017-03-24 11:19:25 · 395 阅读 · 0 评论 -
Deep learning:四(logistic&…
Deep learning:四(logisticregression练习) 前言: 本节来练习下logistic regression相关内容,参考的资料为网页:http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html原创 2017-03-24 11:19:27 · 464 阅读 · 0 评论 -
Deep learning:四十九(RNN-R…
前言: 本文主要是bengio的deep learning tutorial教程主页中最后一个sample:rnn-rbm inpolyphonicmusic. 即用RNN-RBM来model复调音乐,训练过程中采用的是midi格式的音频文件,接着用建好的model来产生复调音乐。对音乐建模的难点在与每首乐曲中帧间是高度时间相关的(这样样本的维度会很高),用普通的网络模型是不能搞定的(普原创 2017-03-24 11:19:30 · 416 阅读 · 0 评论 -
神经网络来进行时间序列预测
原文地址:神经网络来进行时间序列预测作者:争气的败家子1、使用任意键盘响应绘图的问题set(gcf,'KeyPressFcn','fplot(''sin'',[0 6])');2、用神经网络来进行时间序列预测的程序问题:有一时间序列u=[17.6 17.7 17.7 17.717.8 17.8 17.9 18.0 18.1 18.2 18.4 18.6 ... 18.7 18.9转载 2017-03-24 11:20:42 · 15507 阅读 · 1 评论