zjmy的博客

1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问...

自动编码器（Auto-Encoder，AE）自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h，可以产生编码（code）表示输入。该网络可以看作由两部分组成：一个由函数 h=f(x)h = f(x)h=f(x) 表示的编码器和一个生成重构的解码器 r=g(h)r = g(h)r=g(h)。我们不应该将自编码器设计成输入到输出完全相等...

1.1 自动编码器（AutoEncoder，AE）自动编码器（AutoEncoder，AE）就是一种尽可能复现输入信号的神经网络，其输出向量与输入向量同维，常按照输入向量的某种形式，通过隐层学习一个数据的表示或对原始数据进行有效编码。值得注意的是，这种自编码器是一种不利用类标签的非线性特征提取方法， 就方法本身而言， 这种特征提取的目的在于保留和获得更好的信息表示， 而不是执行分类任务，尽管有时...

开篇语文章整理自向世明老师的PPT，围绕神经网络发展历史，前馈网络（单层感知器，多层感知器，径向基函数网络RBF），反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）三部分进行讲述，给人一个神经网络的整体认识。发展历史单层感知器基本模型如下训练如果激励函数是线性的话，可用最小二乘直接计算：如果激励函数是sifm...