深度学习
文章平均质量分 94
Bourne_Boom
这个作者很懒,什么都没留下…
展开
-
最全:在Ubuntu 18安装Nvidia Driver, Cuda 10.2, Pytorch及一些疑问的解答和讨论
由于实验室的项目需要运用到Ubuntu 18和Cuda 10.2版本,只能放弃之前使用的配置。本篇博文主要记录本人配置Ubuntu 18, Nvidia Driver, Cuda 10.2, Pytorch的过程及一些疑问的解答,抛砖引玉,欢迎客官留下意见。0. 安装前为了后面顺利进行,确保系统不存在Nvidia Driver,Cuda相关文件。sudo apt-get purge nvidia*sudo apt-get autoremovesudo apt --purge re.原创 2021-05-15 03:39:03 · 669 阅读 · 1 评论 -
论文笔记: Large-Scale Study of Curiosity-Driven Learning
一、总结1、这里的large-scale是指从不同方面来分析curiosity method的效果:利用什么作为intrinsic reward: dynamic error (prediction error), prediction uncertainty, improvement of a forward dynamics model. 利用什么作为feature encoder...原创 2019-10-02 12:20:04 · 877 阅读 · 0 评论 -
Batch Normalization
# Batch Normalization优点:1. 减少训练时间,使得更深的网络可训练: * 由于更小的 internal covariate shift,可以使用更大的learning rate; * 缓解梯度消失问题(对于sigmoid,tanh等).2. 对于数据的初始化敏感度更低.3. 减少overfitting的可能(因此也不需要太多的regularizati...翻译 2019-06-26 21:31:04 · 118 阅读 · 0 评论 -
Udacity DL CNN : Basic Idea
The way of research:Difference of MLP & CNNPoolingmaxpooling is better at noticing the most important details about edges and other features in an image. average pooling is used for smo...原创 2019-02-05 10:32:56 · 372 阅读 · 0 评论 -
Udacity Pytorch
https://www.youtube.com/watch?v=MswxJw-8PvE&list=PLaiC38QTRBdwq9MzAIrlThEBI2vIeT8hn1.1.1 使用矩阵乘法 torch.mm() or torch.matmul()一般使用前者,因为后者支持broadcasting,如果输入不正确会出现奇怪结果.You can do the multi...原创 2019-02-05 10:51:50 · 449 阅读 · 0 评论 -
Udacity DNN
一、Linear Boundary1.ELement wise operation 2. Perceptron Trick (10)How to move the line to be close to a certain point.My code vs Solution3. Why disrete activation function ( e.g. St...原创 2019-02-11 17:21:39 · 142 阅读 · 0 评论 -
DL - mini batch
回顾之前我们讲到了一些在训练模型的时候用到的超参数,例如上一次说的L2 正则, 在过拟合的场景中增加L2的值有助于减小网络的复杂度。 还有诸如学习率, 在梯度下降中,每一次迭代的下降的步长是学习率乘以成本函数对w的导数。所以如果我们想让算法训练的快一点,调高学习率可以有效的减少迭代次数。 诸如此类的还有迭代次数,激活函数的选取等等。今天我们说一下mini batch什么是mini batc...转载 2018-11-23 09:00:48 · 184 阅读 · 0 评论 -
Ubuntu 16.04配置 Cuda, Cudnn, Anaconda, Tensorflow (GPU)
本文教程适用于刚安装好的Ubuntu 16.04注意:以下安装的版本有时效性,且因设备而异,因此要自行判断选择哪个版本,是否选择最新版本。(比如CUDA9.0这个大版本的小版本也不更新了,但cuDNN9.0的大版本下的小版本还在更新)0. What is CUDA & CuDnnCUDA is NVIDIA’s language/API for programming on t...原创 2018-11-18 15:40:32 · 2293 阅读 · 0 评论 -
一文看懂常用的梯度下降算法
概述梯度下降算法(Gradient Descent Optimization)是神经网络模型训练最常用的优化算法。对于深度学习模型,基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理:目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数的下降。这个步长又称为学习速率。参数更新公式如下:...转载 2019-05-10 10:41:27 · 775 阅读 · 0 评论