深度学习基础
文章平均质量分 74
Charles5101
USTC
展开
-
Anaconda安装及配置python虚拟环境
近期需要在多个场景下进行实验,而不同场景的测试脚本所需的环境配置不同,所以疲于在服务器上配置不同的环境。还因为这个成功地被mentor喷了个半死,在mentor的提示下才想起配置虚拟环境这回事(果然打基础的时候不能偷懒啊。。。。)于是对配置和使用进行了回顾和整理。网上的版本有很多,有的不全,有的感觉不太靠谱,整理了一下自己觉得挺方便的流程。(本文内容是对网上现有资源的整理和个人笔记,感谢大家的分享!)简介由于Python有2.x和3.x两个大的版本,而且每一个project建立所用的各种包.原创 2020-08-25 09:33:52 · 25955 阅读 · 0 评论 -
模型汇总24 - 深度学习中Attention Mechanism详细介绍:原理、分类及应用
Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的机制(Mechanism),一般称为Attention Mechanism。Attention Mechanism目前非常流行,广泛应用于机器翻译、语音识别、图像标注(Image Caption)等很多领域,之所以它这么受欢迎,是因为Attention给模型赋予了区分辨别的能力...转载 2018-12-19 21:06:33 · 626 阅读 · 0 评论 -
学习笔记:如何理解神经网络中超参数learning rate、weight decay、momentum、Batch normalization、Learning Rate Decay及其各自的作用?
一、learning rate(学习率)学习率决定了权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率,因此后面4种参数都是基于自适应的思路提出的解决方案。后面4种参数分别为:Weight Decay 权值衰减,Momentum 动量、Batch Normalization 和 Learning Rate Decay 学习率衰减。以下...原创 2018-12-24 18:05:46 · 3077 阅读 · 0 评论 -
向量的2范数求导?
, A: , 即 A(x)=b, b , 是求A(x)-b的2范数。问题:对 求一阶导 . 解答过程如下: 原式等于 对x求导得: 这里主要用到的是向量和矩阵的求导公式。分别为 和 此外还有向量2范数的定义式。 Reference:[1] https://www.zhihu.com/ques...转载 2019-01-06 22:30:22 · 41692 阅读 · 8 评论 -
损失函数 - Cross Entropy Loss(交叉熵损失函数)
今天看到一篇写的不错的关于交叉熵损失的讲解,感觉算法的各个步骤讲的很详细清晰,遂在博客中记录一下。交叉熵损失函数经常用于分类问题中,特别是在神经网络做分类问题时,也经常使用交叉熵作为损失函数,此外,由于交叉熵涉及到计算每个类别的概率,所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。我们用神经网络最后一层输出的情况,来看一眼整个模型预测、获得损失和学习的流程:神经网...转载 2019-08-27 15:34:38 · 1727 阅读 · 0 评论