![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 94
Bourne_Boom
这个作者很懒,什么都没留下…
展开
-
最全:在Ubuntu 18安装Nvidia Driver, Cuda 10.2, Pytorch及一些疑问的解答和讨论
由于实验室的项目需要运用到Ubuntu 18和Cuda 10.2版本,只能放弃之前使用的配置。本篇博文主要记录本人配置Ubuntu 18, Nvidia Driver, Cuda 10.2, Pytorch的过程及一些疑问的解答,抛砖引玉,欢迎客官留下意见。 0. 安装前 为了后面顺利进行,确保系统不存在Nvidia Driver,Cuda相关文件。 sudo apt-get purge nvidia* sudo apt-get autoremove sudo apt --purge re.原创 2021-05-15 03:39:03 · 639 阅读 · 1 评论 -
论文笔记: Large-Scale Study of Curiosity-Driven Learning
一、总结 1、这里的large-scale是指从不同方面来分析curiosity method的效果: 利用什么作为intrinsic reward: dynamic error (prediction error), prediction uncertainty, improvement of a forward dynamics model. 利用什么作为feature encoder...原创 2019-10-02 12:20:04 · 859 阅读 · 0 评论 -
Batch Normalization
# Batch Normalization 优点: 1. 减少训练时间,使得更深的网络可训练: * 由于更小的 internal covariate shift,可以使用更大的learning rate; * 缓解梯度消失问题(对于sigmoid,tanh等). 2. 对于数据的初始化敏感度更低. 3. 减少overfitting的可能(因此也不需要太多的regularizati...翻译 2019-06-26 21:31:04 · 107 阅读 · 0 评论 -
Udacity DL CNN : Basic Idea
The way of research: Difference of MLP & CNN Pooling maxpooling is better at noticing the most important details about edges and other features in an image. average pooling is used for smo...原创 2019-02-05 10:32:56 · 364 阅读 · 0 评论 -
Udacity Pytorch
https://www.youtube.com/watch?v=MswxJw-8PvE&list=PLaiC38QTRBdwq9MzAIrlThEBI2vIeT8hn 1. 1.1 使用矩阵乘法 torch.mm() or torch.matmul() 一般使用前者,因为后者支持broadcasting,如果输入不正确会出现奇怪结果. You can do the multi...原创 2019-02-05 10:51:50 · 438 阅读 · 0 评论 -
Udacity DNN
一、Linear Boundary 1.ELement wise operation 2. Perceptron Trick (10) How to move the line to be close to a certain point. My code vs Solution 3. Why disrete activation function ( e.g. St...原创 2019-02-11 17:21:39 · 133 阅读 · 0 评论 -
DL - mini batch
回顾 之前我们讲到了一些在训练模型的时候用到的超参数,例如上一次说的L2 正则, 在过拟合的场景中增加L2的值有助于减小网络的复杂度。 还有诸如学习率, 在梯度下降中,每一次迭代的下降的步长是学习率乘以成本函数对w的导数。所以如果我们想让算法训练的快一点,调高学习率可以有效的减少迭代次数。 诸如此类的还有迭代次数,激活函数的选取等等。今天我们说一下mini batch 什么是mini batc...转载 2018-11-23 09:00:48 · 175 阅读 · 0 评论 -
Ubuntu 16.04配置 Cuda, Cudnn, Anaconda, Tensorflow (GPU)
本文教程适用于刚安装好的Ubuntu 16.04 注意:以下安装的版本有时效性,且因设备而异,因此要自行判断选择哪个版本,是否选择最新版本。(比如CUDA9.0这个大版本的小版本也不更新了,但cuDNN9.0的大版本下的小版本还在更新) 0. What is CUDA & CuDnn CUDA is NVIDIA’s language/API for programming on t...原创 2018-11-18 15:40:32 · 2283 阅读 · 0 评论 -
一文看懂常用的梯度下降算法
概述 梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型,基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理:目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数的下降。这个步长又称为学习速率。参数更新公式如下: ...转载 2019-05-10 10:41:27 · 762 阅读 · 0 评论