燃烧吧！我的小宇宙！

RBM基础RBM模型是基于能量的模型。对于一组给定的状态(v.h) (v.h),其能量函数为E θ (v,h)=−∑ i=1 N v  a i v i −∑ j=1 N h  b j h j −∑ i=1 N v  ∑ j=1 N h  h j w ji v i  E_\theta(v,h)=-\displaystyle \sum_{i=1}^{N_v}a_iv_i-\displaystyle \s

主要包括卷积层、池化（又叫子采样）层、光栅化层、MLP隐含层、输出层。 卷积层 特点：局部连接、权值共享 目的：提取特征 池化 种类：最大池化、平均池化、可训练参数池化 目的：减少不必要的特征，提取最主要的 光栅化 目的：将多个特征面转化为一维的向量，为MLP隐含层提供向量的输入形式 MLP 隐含层 目的：光栅层转化到（分类）输出

生成模型 判别模型

问题定义目标函数为minf(x)min f(x)梯度下降一阶方法 f(x)f(x)在xkx_k的一阶泰勒级数展开：f(xk+1)=f(xk+Δxk)≈f(xk)+f(xk)′Δxkf(x_{k+1})=f(x_k+\Delta x_k) \approx f(x_k)+f(x_k)'\Delta x_kmomentum通过积累下降速度，来加速梯度下降方法。这时学习率（学习速度）变复杂。牛顿法二阶方法

与神经网络能够非常好地学习训练数据（如过拟合）相反的是网络根本无法学习训练数据，这通常是由于网络的病态问题(ill-conditioning)导致的。在BP网络的训练过程中ill-conditioning是很常见的。定义神经网络模型学习的目标为最小化模型输出和正确值之间的误差E(W)={ek}E(W)=\{e_k\}.EE的一阶导为：∇E=2JTe\nabla E=2J^Te,其中JJ为雅可比矩阵。

公式实现实验参考文献1.Yoshua Bengio，etc. Deep Learning 2.

基础概念前馈神经网络信号从输入层向输出层单向传播，网络中无反馈，可用一个有向无环图表示学习算法目标函数损失函数均方误差交叉熵损失函数更多极大似然函数BP算法均方误差对单层神经网络，将需要调整的参数，包括偏置值，组成一个向量 (acbd)\bigl( \begin{smallmatrix} a & b \\ c & d \end{smallmatrix} \bigr)LMS算法DBN训练算法贪

前言第一代：感知机；第二代Hopfield；第三代：深度神经网络。Hopfiled网络

数据归一化normalization 目的： - 统一量纲 - 达到更好的模型训练效果（如BP算法中加速收敛）方法线性函数归一化如使用原始数据的最小、最大值将原始数据变换到[0,1]范围内 0均值标准化（Z-scorestandardization）将原始数据转化为均值为0，方差为1的数据集，公式为 其中，μ、σ分别为原始数据集的均值、方差。该方法要求原始数据的分布近似为高斯分布，

无监督学习得到数据特征，可以在最高层加入一个分类器并通过监督学习进行微调。结构 输入层神经元个数等于输出层神经元的个数。激活函数线性 均方差激活函数sigmoid 使用交叉熵损失函数其他损失函数以方差代价为例，单个样本的损失函数为： J(W,b;x,y)=12||hW,b(x)−y||2J(W,b;x,y)=\frac 1 2||h_{W,b}(x)-y||^2 对包含mm个样本的

sigmoid输出层使用的损失函数为cross-entropysoftmax 输出层使用的损失函数为log-likelihood