深度学习与其他的区别
- 机器学习:热点领域、给数据+学习数据
深度学习:前言领域、强调模型 - 深度学习与传统神经网络之间的区别和联系:
联系:分层结构 区别:训练机制(初始值)
深度学习的训练过程
- 无监督预训练(Layerwise Pre-Training)+有监督微调(fine-tune)过程:(1)自下而上非监督学习特征(2)自顶向下有监督微调
深度学习和神经网络的关系
- 对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。
- 神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。
- 对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。
- 2006年,Hinton在《Science》和相关期刊上发表了论文,首次提出了“深度信念网络”的概念。与传统的训练方式不同,“深度信念网络”有一个“预训练”(pre-training)的过程,这可以方便的让神经网络中的权值找到一个接近最优解的值,之后再使用“微调”(fine-tuning)技术来对整个网络进行优化训练。这两个技术的运用大幅度减少了训练多层神经网络的时间。
他给多层神经网络相关的学习方法赋予了一个新名词–“深度学习”。
神经网络的发展
- 神经网络的发展(背景之类的) MP模型+sgn—->单层感知机(只能线性)+sgn— Minsky 低谷 —>多层感知机+BP+sigmoid—- (低谷) —>深度学习+pre-training+ReLU/sigmoid
知乎回答 讲述了神经网络的发展过程
全面讲解 神经网络深入迁出
深度学习常用方法
- 全连接DNN(相邻层相互连接、层内无连接): AutoEncoder(尽可能还原输入)、Sparse Coding(在AE上加入L1规范)、RBM(解决概率问题)—–>特征探测器——>栈式叠加 贪心训练 RBM—->DBN 解决全连接DNN的全连接问题—–>CNN 解决全连接DNN的无法对时间序列上变化进行建模的问题—–>RNN—解决时间轴上的梯度消失问题——->LSTM
- DNN原理及应用:DNN:深度神经网络,广义上包含CNN,DBN,RNN等 优点:层数多,抽象能力强,模拟更复杂模型 应用:图像处理、语音识别、文本分类
-
几种方法介绍
- RBM用途 (1)编码、降维 (2)得到权重矩阵和偏移量,供BP网络初始化训练 (3)可作为生成模型使用 (4)可作为判别模型使用
- 介绍DBN DBN是一个概率生成模型。 组成:多个RBM+BP网络 训练过程:(1)无监督训练每一层RBM网络、特征向量映射到不同特征空间、尽可能保留特征信息(贪心算法) (2)DBN最后一层设置为BP网络,有监督微调 RBM训练可以看作对一个深层BP网络的网络权值参数的初始化—->克服容易局部最优+训练时间长 优点:不用人工选取特征 缺点:(1)有标签样本集 (2)学习过程慢 (3)参数不当可能导致局部最优 公式推导: http://blog.csdn.net/app_12062011/article/details/54313082
- 介绍CNN 重点:局部感受域、权值共享 组成:卷基层、子采样层(池化层) 训练过程:不同小随机数初始参数—->repeat{ 前向传播(特征提取层C层—->特征映射层S层) + 后向传播 }
- 广义上的优点:(1)识别位移、缩放及其他形式扭曲不变性的二维图形 (2)隐式从训练数据中学习特征 (3)同一特征映射面的神经元权值相同—–>课并行学习 (4)局部权值共享—->在语音识别、图像处理方面有优势、更接近实际生物神经网络、降低网络复杂性、避免特征提取和分类过程中的数据重建复杂度
- 较一般神经网络在图像处理方面的优点:(1)图像和网络拓扑更好吻合 (2)特征提取和模式分类同时进行,并同时在训练中产生 (3)权值共享—–>减少参数、结构简单、适应性更强 应用:语音分析、图像识别等
摘自:http://www.360doc.com/content/18/0210/11/44130189_729111644.shtml)