- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度学习中不确定性估计的基准算法
1 Benchmark算法算法PaperBayes by Backprop“Weight uncertainty in neural networks.” ICML, 2015.[Link]Monte Carlo Dropout“Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning.” ICML, 2016.[Link]Deep Ensembles“Si
2020-08-26 00:53:02
4596
原创 ECCV2020—对抗防御Paper List
Regional Homogeneity: Towards Learning Transferable Universal Adversarial Perturbations Against DefensesAdversarial Ranking Attack and DefenseSegmentations-Leak: Membership Inference Attacks and Defenses in Semantic Image SegmentationAnti-Bandit Neural.
2020-08-26 00:49:34
329
原创 极大缩短resnet训练时间并达到极高准确率的一些tricks
文章目录1、模型复杂度与泛化能力的关系2、DAWNBench3、Some Tricks4、实验效果5、展望1、模型复杂度与泛化能力的关系例如对于VGG而言，有11,13,16,19四种深度的模型对应着四种不同的模型复杂度，当然层数越多模型越复杂。大部分人一开始肯定会觉得模型越复杂它所具有的函数拟合能力越强，肯定效果会更好，理论上应该是这样的。但是对于那些追求极致泛化能力的人做了很多实验，发现可能这个结论并不是那么绝对，比如下面这张图用VGG训练CIFAR-10达到94%的准确率已经很高了，但是这个最
2020-05-15 19:54:06
5497
原创 VGG——深度学习必会模型及PyTorch实现
文章目录1、为什么要引入卷积神经网络？1.1 三个观察1.2 卷积层和池化层1.2.1 卷积层1.2.2 池化层2、VGG模型原理2.1 提出VGG的动机2.2 VGG模型及其参数的数量3、核心代码1、为什么要引入卷积神经网络？1.1 三个观察一些特征占据的像素点远小于整张图片的像素点，某个神经元判断一张图片中有没有某一特征不需要看整张图片，所以每个神经元只用连接到一个小块的区域而不需要...
2020-04-23 22:52:53
897
原创 DenseNet——深度学习必会模型及PyTorch实现
文章目录1. DenseNet模型原理2. DenseNet具体结构3. DenseNet实现代码1. DenseNet模型原理CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcut connection），这有助于训练过程中梯度的反向传播，从而能训练...
2020-04-23 22:41:26
1352
原创 ResNet——深度学习必会模型及PyTorch实现
1. 为什么要引入ResNet?对于卷积神经网络，深度是一个很重要的因素。深度卷积网络自然的整合了低中高不同层次的特征，特征的层次可以靠加深网络的层次来丰富。因此在构建卷积网络时，网络的深度越高，可抽取的特征层次就越丰富越抽象。所以一般我们会倾向于使用更深层次的网络结构，以便取得更高层次的特征。但是更深层的网络结构真的带来了更好的表现吗？我们看下面这张图：可以看到，拥有56层数的网络...
2020-04-23 22:26:10
552
原创 在Jupyter Notebook上配置远程GPU服务器
在深度学习的过程中，我们肯定会遇到一个问题，那就是神经网络太深导致参数过多，自己电脑的CPU带不动，即使带的动也需要非常多的时间，效率很低。近期我所在的实验室为了解决这个问题，在阿里云租了几台GPU服务器专门来给我们跑代码做实验，实验室里的师兄也帮助我们在PyCharm上配置完毕，但是笔者还是觉得PyCharm在可视化以及修改代码上没有Jupyter Notebook方便（当然如果喜欢PyCha...
2020-03-01 16:23:29
4904
原创 从多项式函数拟合实验出发浅谈“模型选择、欠拟合和过拟合”问题
在本笔记中，我们将从简单易懂的多项式函数拟合实验出发，谈一谈如今做机器学习绕不开的三个重要概念：模型选择、欠拟合和过拟合，并且进一步挖掘如何选择模型、如何避免欠拟合和过拟合问题。本笔记主要从下面 ——个方面展开：文章目录1 模型选择1.1 训练误差和泛化误差1.2 模型选择1.2.1 验证数据集1.2.2 kkk折交叉验证2 欠拟合和过拟合2.1 模型复杂度2.2 训练数据集大小3 多项式函数...
2020-02-20 14:26:30
4249
原创 MNIST手写数字识别之MLP实现
在本笔记中，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的相关概念，并将其运用到最基础的MNIST数据集分类任务中，同时展示相关代码。本笔记主要从下面三个方面展开：文章目录1 多层感知机相关概念1.1 隐藏层1 多层感知机相关概念1.1 隐藏层多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入...
2020-02-16 19:05:09
9491
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人