深度学习笔记（一）入门

深度学习与其他的区别

• 机器学习：热点领域、给数据+学习数据
  深度学习：前言领域、强调模型
• 深度学习与传统神经网络之间的区别和联系：
  联系：分层结构 区别：训练机制（初始值）

深度学习的训练过程

• 无监督预训练（Layerwise Pre-Training）+有监督微调（fine-tune）过程：（1）自下而上非监督学习特征（2）自顶向下有监督微调

深度学习和神经网络的关系

• 对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。
• 神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。
• 对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。
• 2006年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度信念网络”的概念。与传统的训练方式不同，“深度信念网络”有一个“预训练”（pre-training）的过程，这可以方便的让神经网络中的权值找到一个接近最优解的值，之后再使用“微调”(fine-tuning)技术来对整个网络进行优化训练。这两个技术的运用大幅度减少了训练多层神经网络的时间。

他给多层神经网络相关的学习方法赋予了一个新名词–“深度学习”。

神经网络的发展

• 神经网络的发展（背景之类的） MP模型+sgn—->单层感知机（只能线性）+sgn— Minsky 低谷 —>多层感知机+BP+sigmoid—- (低谷) —>深度学习+pre-training+ReLU/sigmoid
  知乎回答 讲述了神经网络的发展过程
  全面讲解 神经网络深入迁出

深度学习常用方法

• 全连接DNN（相邻层相互连接、层内无连接）： AutoEncoder(尽可能还原输入)、Sparse Coding（在AE上加入L1规范）、RBM（解决概率问题）—–>特征探测器——>栈式叠加 贪心训练 RBM—->DBN 解决全连接DNN的全连接问题—–>CNN 解决全连接DNN的无法对时间序列上变化进行建模的问题—–>RNN—解决时间轴上的梯度消失问题——->LSTM
• DNN原理及应用：DNN：深度神经网络，广义上包含CNN，DBN，RNN等 优点：层数多，抽象能力强，模拟更复杂模型 应用：图像处理、语音识别、文本分类

• 几种方法介绍

  • RBM用途 （1）编码、降维 （2）得到权重矩阵和偏移量，供BP网络初始化训练 （3）可作为生成模型使用 （4）可作为判别模型使用
  • 介绍DBN DBN是一个概率生成模型。 组成：多个RBM+BP网络 训练过程：（1）无监督训练每一层RBM网络、特征向量映射到不同特征空间、尽可能保留特征信息（贪心算法） （2）DBN最后一层设置为BP网络，有监督微调 RBM训练可以看作对一个深层BP网络的网络权值参数的初始化—->克服容易局部最优+训练时间长 优点：不用人工选取特征 缺点：（1）有标签样本集 （2）学习过程慢 （3）参数不当可能导致局部最优 公式推导： http://blog.csdn.net/app_12062011/article/details/54313082
  • 介绍CNN 重点：局部感受域、权值共享 组成：卷基层、子采样层（池化层） 训练过程：不同小随机数初始参数—->repeat{ 前向传播（特征提取层C层—->特征映射层S层） + 后向传播 }
  • 广义上的优点：（1）识别位移、缩放及其他形式扭曲不变性的二维图形 （2）隐式从训练数据中学习特征 （3）同一特征映射面的神经元权值相同—–>课并行学习 （4）局部权值共享—->在语音识别、图像处理方面有优势、更接近实际生物神经网络、降低网络复杂性、避免特征提取和分类过程中的数据重建复杂度
  • 较一般神经网络在图像处理方面的优点：（1）图像和网络拓扑更好吻合 （2）特征提取和模式分类同时进行，并同时在训练中产生 （3）权值共享—–>减少参数、结构简单、适应性更强 应用：语音分析、图像识别等

摘自：http://www.360doc.com/content/18/0210/11/44130189_729111644.shtml)