![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LeNet试验:由简及深
文章平均质量分 71
Brikie
这个作者很懒,什么都没留下…
展开
-
降维可视化(tSNE、UMAP、hypertools等)代码及效果对比
在机器学习和深度学习领域,特征往往是高维度的,然而不幸的是,我们的电脑屏幕是二维的,我们的人眼也只能观察最多三维,所以必须对特征进行降维之后才能可视化。原创 2021-03-05 21:29:37 · 10109 阅读 · 8 评论 -
LeNet试验(二)权重参数随训练的变化
神经网络训练的过程就是权重参数寻优的过程,我们想知道随着训练的进行,参数到底发生怎样的变化。本文以LeNet为例,进行一些试验观察。LeNet代码见上一小节,这里只给出conv2层的权重,其形状为 16×6×5×5,其他层权重的变化情况类似。不同训练轮数conv2层权重的分布直方图:conv2权重的均值、标准差、随机抽取的10个参数以及梯度的1范数随训练500轮的变化情况:可以看出:(1)初始分布是平均分布,后面逐渐过渡为类似正态分布(但左边缓一些,右边陡一些)。(2)随着训练的继续,模型的原创 2021-01-05 22:02:52 · 997 阅读 · 1 评论 -
LeNet试验(一) 搭建pytorch版模型及运行
LeNet非常简单,在MNIST数据集运行速度很快,所以开辟LeNet试验系列文章,以试验各种语句、技巧的效果,分析神经网络的一些特性。1,Pytorch版本LeNet代码数据路径为’minst/’,文件夹内放置minst集中的四个gz文件,代码文件放在文件夹外面。import gzip, structimport numpy as npimport torchfrom torch import nnfrom torch.nn import functional as Ffrom torc原创 2021-01-05 22:34:02 · 893 阅读 · 1 评论 -
LeNet试验(三)深入理解梯度消失/梯度爆炸及解决办法(激活函数、梯度剪裁、BN层、ResNet)
本文通过数据试验分析梯度消失和梯度爆炸的原因并分析各种常用解决方案的效果。梯度消失/爆炸是困扰深度神经网络的大问题,ResNet和BatchNormalization的原理在网上已有不少文章介绍,但是从文章的跟帖评论中可以看出,很多细节问题仍存在争论。比如说:(1)梯度消失是由sigmoid引起的吗?(2)BN层可以解决梯度消失/梯度爆炸问题吗?(3)ResNet为什么有效?为了弄清这些问题,我们这次在LeNet基础上改造网络,通过数据试验来分析这些问题。原创 2021-01-10 14:17:29 · 2002 阅读 · 2 评论 -
LeNet试验(四)使用shuffle label观察网络的记忆能力
神经网络既有记忆能力又有泛化能力,这对应了我们现实世界的情况,既有多样性又有规律性,所以神经网络能够学习现实世界很多领域的问题。原创 2021-01-27 23:02:53 · 427 阅读 · 1 评论 -
LeNet试验(五)观察“彩票假说”现象
“彩票假说”是ICLR2019最佳论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》提出的。意思是神经网络通常只有少量的关键参数发挥作用,找到这些少数关键参数就好像买到中奖的彩票一样,幸运但很稀有。本文使用一种提取关键参数的算法,使神经网络的参数稀疏化,以验证彩票假说。我们发现在MNIST集上可以把LeNet参数稀疏至1/50而保持几乎不变的精度,在CIFAR10上也可以把ResNet18参数稀疏至1/10原创 2021-02-09 15:36:19 · 629 阅读 · 1 评论