![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
文章平均质量分 81
BrightLampCsdn
这个作者很懒,什么都没留下…
展开
-
案例详解cross-entropy交叉熵损失函数及反向传播
交叉熵函数的定义:$$$$原创 2018-11-13 13:58:04 · 8332 阅读 · 4 评论 -
L2正则化Regularization详解及反向传播的梯度求导
摘要本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. L2 正则原理若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n, 该网络在训练时...原创 2018-12-27 16:48:28 · 7339 阅读 · 2 评论 -
常用梯度下降算法SGD, Momentum, RMSprop, Adam详解
摘要本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.相关配套代码, 请参考文章 :纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. SGD随机梯度下降 (Stochastic ...原创 2018-12-22 22:25:57 · 3703 阅读 · 0 评论 -
长短期记忆网络LSTMCell单元详解及反向传播的梯度求导
摘要本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度.求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播Affine 变换的定义和...原创 2018-12-18 16:17:47 · 1630 阅读 · 0 评论 -
TensorFlow和PyTorch对比理解卷积和反向卷积或转置卷积(Transpose Convolution)
摘要本文主要介绍反卷积或转置卷积, 并使用 TensorFlow 和 PyTorch 验证其计算方法.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. 应用场景转置卷积 (Transpose Convolution ), 有时候也称为反卷积 (Deconvolution), 是全卷积神经网...原创 2019-01-03 17:45:12 · 2278 阅读 · 1 评论 -
Batch Normalization的测试或推理过程及样本参数更新方法
摘要本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理.相关配套代码, 请参考文章 :Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文Batch N...原创 2018-12-30 15:44:28 · 2461 阅读 · 0 评论 -
特征工程PCA降维方法的最大方差理论详解
摘要本文给出 PCA最大方差理论求解方法.相关配套代码, 请参考文章 :纯Python和scikit-learn对比实现PCA特征降维系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. 降维方法对于给定的一组数据点, 以矩阵 Xm×nX_{m \times n}Xm×n 表示 :X=(X...原创 2018-12-25 23:49:43 · 844 阅读 · 0 评论 -
卷积convolution函数的矩阵化计算方法及其梯度的反向传播
摘要本文给出卷积 convolution 函数的矩阵化计算方法, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 :Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导系列文章索引 :...原创 2019-01-05 20:16:40 · 1574 阅读 · 1 评论 -
内容提要
本系列不适合首次接触深度学习读者, 但非常适合作为第二本书.建议深度学习的初学者先从其他资料开始学习基本概念, 本系列亦有一篇文章专门推荐入门的学习资料.限于篇幅, 大部分学习资料都没有详细的公式推导过程和配套的代码实现, 讲述相关的基础概念就占据了大量的空间.有注重于基础概念的, 也有注重于实战项目, 都很好.本系列的目的是, 填补基础概念到实战项目之间的空白.作者发现, 注重这一块知...原创 2018-12-21 14:54:31 · 599 阅读 · 1 评论 -
通过函数图像介绍信息熵的概念
摘要本文通过函数图像介绍信息熵的概念.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文信息熵:信息的基本作用就是消除人们对事物的不确定性.信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.香农 (Shannon) 提出信息熵的定义如下 :entropy=−∑i=1npi...原创 2018-12-26 21:25:13 · 2254 阅读 · 0 评论 -
循环神经网络RNNCell单元详解及反向传播的梯度求导
摘要本文给出循环神经网络RNNCell单元的定义公式, 并求解其在反向传播中的梯度.本文给出的相关公式是编程导向的, 完整的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考:Affine 变换的定义和梯度, 请参考:正文1. RNNCell 定义1.1 一次循环考虑输入一个 3 阶张量 XijkX_{ijk}Xijk, 该张量可以表示为 iii 个...原创 2018-12-15 16:25:33 · 1237 阅读 · 0 评论 -
softmax函数详解及误差反向传播的梯度求导
1. softmax函数的定义及实现softmax函数常用于多分类问题的输出层.定义如下:si=exi∑t=1kext∑t=1kext=ex1+ex2+ex3+⋯+exki=1,2,3,⋯ ,ks_{i} = \frac{e^{x_{i}}}{ \sum_{t = 1}^{k}e^{x_{t原创 2018-11-14 15:51:38 · 5115 阅读 · 5 评论 -
多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
相关有关 softmax 的详细介绍, 请参考 :BrightLamp. softmax函数详解及反向传播中的梯度求导[EB/OL]. https://blog.csdn.net/oBrightLamp/article/details/83959185.有关 cross-entropy 的详细介绍, 请参考 :BrightLamp. 通过案例详解cross-entropy交叉熵损失函数[E...原创 2018-11-14 18:58:04 · 4391 阅读 · 0 评论 -
自学深度学习之计算机视觉的入门资料推荐
1 .入门第一本: Python神经网络编程2 .入门第二本: 深度学习入门 基于Python的理论与实现3 .入门第三本: CS231n 斯坦福李飞飞视觉识别阅读指导这三个资料都要到手, 要一起使用.按1~3的顺序快速通读一遍, 不要求一遍读懂, 有个印象, 知道相关知识点在哪里就可以.因为这三个资料各有侧重点, 学到某个知识点, 总有一个资料讲的比另一个更详细, 更通俗.其...原创 2018-11-15 00:33:01 · 1039 阅读 · 0 评论 -
dropout函数详解及反向传播中的梯度求导
svmGamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过 Euler integralΓ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}d原创 2018-11-21 16:56:17 · 16543 阅读 · 16 评论 -
ReLU函数详解及反向传播中的梯度求导
1. 定义ReLU函数, 即线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数.其定义如下:ReLU(x)={0,x⩽0x,x>0ReLU(x) = \left\{ \begin{array}{rr} 0, &a原创 2018-11-21 20:33:18 · 45708 阅读 · 0 评论 -
Batch Normalization函数详解及反向传播中的梯度求导
作者论文公式:https://arxiv.org/abs/1502.03167批标准化 (Batch Normalization) 的思想来自于传统的机器学习, 主要为了处理数据取值范围相差过大的问题.比如, 正常成年人每升血液中所含血细胞的数量:项目数量 (个)红细胞计数 RBC3.5×1012~5.5×1012个白细胞计数 WBC5.0×109~10.0...原创 2018-11-22 00:29:39 · 1839 阅读 · 1 评论 -
affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导
Affine 仿射层, 又称 Linear 线性变换层常用于神经网络结构中的推断部分.原创 2018-11-24 21:58:34 · 8422 阅读 · 2 评论 -
池化层MaxPool函数详解及反向传播的公式推导
相关配套代码, 请参考 :Python和PyTorch对比实现池化层MaxPool函数及反向传播https://blog.csdn.net/oBrightLamp/article/details/84635308正文池化是一种尺寸缩小操作, 可以将大尺寸的图片缩小, 集约特征.1. 池化层 MaxPool 函数的定义本文约定矩阵元素的脚标从 0 开始.当 X 为 m x n 矩阵,...原创 2018-11-29 16:29:16 · 12068 阅读 · 0 评论 -
卷积convolution函数详解及反向传播中的梯度求导
http://cs231n.github.io/convolutional-networks/https://github.com/vdumoulin/conv_arithmetic原创 2018-11-28 17:56:53 · 4526 阅读 · 0 评论 -
门控循环单元GRUCell详解及反向传播的梯度求导
摘要本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连...原创 2018-12-19 22:44:56 · 3016 阅读 · 0 评论 -
生成对抗网络 GAN 的数学原理
1. 极大似然估计假设一个抽奖盒子里有45个球, 其编号是 1~9 共9个数字. 每个编号的球拥有的数量是:编号123456789数量246897531占比0.0440.0880.1330.1780.2000.1560.1110.0660.022...原创 2019-01-20 23:08:11 · 5508 阅读 · 10 评论