过度与变形的综合应用(实验报告)

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200416185002199.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NwcmluZzAyNTg=,size_16,color_FFFFFF,t_70#pic_center)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习实验报告完整 机器学习实验报告完整全文共25页,当前为第1页。机器学习实验报告完整全文共25页,当前为第1页。 机器学习实验报告完整全文共25页,当前为第1页。 机器学习实验报告完整全文共25页,当前为第1页。 基于AutoEncoder原理和L_BFGS优化算法实现手写数字识别 机器学习实验报告完整全文共25页,当前为第2页。机器学习实验报告完整全文共25页,当前为第2页。 机器学习实验报告完整全文共25页,当前为第2页。 机器学习实验报告完整全文共25页,当前为第2页。 目录 1 神经网络基本概念 3 1.1概述 3 1.2 神经网络模型 4 2 AutoEncoder原理 5 2.1 反向传播算法 5 2.2 Softmax回归 7 2.3 Stacked AutoEncoder 8 2.4 微调过程 9 2.5 Sparse AutoEncoder 9 2.6 Denoise AutoEncoder 10 3 L_BFGS算法 11 3.1基本原理 11 3.2算法流程 15 3.3算法收敛性分析: 18 4 基于AutoEncoder的手写数字识别 18 4.1 MNIST数据库 18 4.2 模型训练 19 4.3 模型测试 19 5 实验结果及分析: 19 5.1 AutoEncoder 20 5.2 Sparse AutoEncoder 20 5.3 Denoise AutoEncoder 21 5.4 实验结果汇总及分析 22 6 参考资料 24 机器学习实验报告完整全文共25页,当前为第3页。机器学习实验报告完整全文共25页,当前为第3页。AutoEncoder实现手写数字识别 机器学习实验报告完整全文共25页,当前为第3页。 机器学习实验报告完整全文共25页,当前为第3页。 1 神经网络基本概念 1.1概述 神经网络是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。 神经网络由多个神经元构成,下图就是单个神经元的图1所示: 图1 神经元模型 这个神经元是以以及截距为输入值的运算单元,其输出为,其中函数被称作"激活函数"。在本次试验中,我们选用sigmoid函数作为激活函数 图2 sigmoid函数图像 机器学习实验报告完整全文共25页,当前为第4页。机器学习实验报告完整全文共25页,当前为第4页。1.2 神经网络模型 机器学习实验报告完整全文共25页,当前为第4页。 机器学习实验报告完整全文共25页,当前为第4页。 神经网络就是将许多个单一的神经元联结在一起,这样,一个神经元的输出就可以是另一个神经元的输入。例如,下图就是一个简单的神经网络: 图3 神经网络示意图 我们用第层第单元的激活值(输出值)。当时,,也就是第个输入值。对于给定的参数集合,神经网络就可以按照函数来计算输出结果。以上述模型为例,计算步骤如下: 我们用表示第第层第单元输入加权和(包括偏置),这样我们对上式就可以得到一种更加简洁的表示法: 上述的计算步骤叫作前向传播。给定第层的激活值后,第层的激活值就可以按照下面步骤计算得到: 机器学习实验报告完整全文共25页,当前为第5页。机器学习实验报告完整全文共25页,当前为第5页。2 AutoEncoder原理 机器学习实验报告完整全文共25页,当前为第5页。 机器学习实验报告完整全文共25页,当前为第5页。 2.1 反向传播算法 自编码(AutoEncoder)神经网络是一种无监督的学习算法,它使用了反向传播算法,让目标值等于输入值,例如输入值为训练样本集合,则我们的输出值。下图是一个自编码神经网络的示例: 图4 单隐层神经网络 自编码神经网络的主要参数是连接权重和偏置,我们尝试利用自编码神经网络学习一个,也就是说我们尝试逼近一个恒等函数,从而使得输出接近于输入。假设我们有一个固定样本集,它包含个样例。对于单个样例,其代价函数为: 这是一个方差代价函数。给定一个包含个样例的数据集,我们可以定义整体代价函数为: 机器学习实验报告完整全文共25页,当前为第6页。机器学习实验报告完整全文共25页,当前为第6页。 机器学习实验报告完整全文共25页,当前为第6页。 机器学习实验报告完整全文共25页,当前为第6页。 以上公式中的第一项是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。 我们的目标是针对参数和来求其函数的最小值。为了求解神经网络,我们将每一个参数和初始化为一个很小的、接近于0的随机数,之后对目标函数求最优解。 梯度下降法中每一次迭代都是按照如下公式对参数和进行更新: 其中是学习速率。更新参数和的关键步骤是计算偏导数。而反向传播算法

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值