生成对抗网络 GAN 的数学原理 1. 极大似然估计假设一个抽奖盒子里有45个球, 其编号是 1~9 共9个数字. 每个编号的球拥有的数量是:编号123456789数量246897531占比0.0440.0880.1330.1780.2000.1560.1110.0660.022...
Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播 摘要本文使用纯 Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播.相关原理和详细解释, 请参考文章 :卷积 convolution 函数的矩阵化计算方法及其梯度的反向传播系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. ...
卷积convolution函数的矩阵化计算方法及其梯度的反向传播 摘要本文给出卷积 convolution 函数的矩阵化计算方法, 并求解其在反向传播中的梯度相关配套代码, 请参考文章 :Python 实现 TensorFlow 和 PyTorch 验证卷积 convolution 函数矩阵化计算及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导系列文章索引 :...
TensorFlow和PyTorch对比理解卷积和反向卷积或转置卷积(Transpose Convolution) 摘要本文主要介绍反卷积或转置卷积, 并使用 TensorFlow 和 PyTorch 验证其计算方法.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. 应用场景转置卷积 (Transpose Convolution ), 有时候也称为反卷积 (Deconvolution), 是全卷积神经网...
Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法 摘要本文使用Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.相关原理及详细解释, 请参考文章 :Batch Normalization的测试或推理过程及样本参数更新方法.系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. Ba...
Batch Normalization的测试或推理过程及样本参数更新方法 摘要本文探讨 Batch Normalization 在测试或推断时使用的算法及其原理.相关配套代码, 请参考文章 :Python和PyTorch对比实现批标准化 Batch Normalization 函数在测试或推理过程中的算法.系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文Batch N...
L2正则化Regularization详解及反向传播的梯度求导 摘要本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. L2 正则原理若某一个神经网络存在一个参数矩阵 Wm×nW_{m\times n}Wm×n, 该网络在训练时...
通过函数图像介绍信息熵的概念 摘要本文通过函数图像介绍信息熵的概念.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文信息熵：信息的基本作用就是消除人们对事物的不确定性.信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.香农 (Shannon) 提出信息熵的定义如下 :entropy=−∑i=1npi...
纯Python和scikit-learn对比实现PCA特征降维 摘要本文使用纯 Python 和 scikit-learn 对比实现PCA降维方法.相关原理和详细解释, 请参考: :特征工程PCA降维方法的最大方差理论详解文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. PCA 类文件目录 : vanilla_nn/pca.pyimport numpy ...
特征工程PCA降维方法的最大方差理论详解 摘要本文给出 PCA最大方差理论求解方法.相关配套代码, 请参考文章 :纯Python和scikit-learn对比实现PCA特征降维系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. 降维方法对于给定的一组数据点, 以矩阵 Xm×nX_{m \times n}Xm×n 表示 :X=(X...
纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法 摘要本文使用纯 Python 和 PyTorch 对比实现SGD, Momentum, RMSprop, Adam梯度下降算法.相关原理和详细解释, 请参考: :常用梯度下降算法SGD, Momentum, RMSprop, Adam详解文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. 算法类...
常用梯度下降算法SGD, Momentum, RMSprop, Adam详解 摘要本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.相关配套代码, 请参考文章 :纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. SGD随机梯度下降 (Stochastic ...
内容提要 本系列不适合首次接触深度学习读者, 但非常适合作为第二本书.建议深度学习的初学者先从其他资料开始学习基本概念, 本系列亦有一篇文章专门推荐入门的学习资料.限于篇幅, 大部分学习资料都没有详细的公式推导过程和配套的代码实现, 讲述相关的基础概念就占据了大量的空间.有注重于基础概念的, 也有注重于实战项目, 都很好.本系列的目的是, 填补基础概念到实战项目之间的空白.作者发现, 注重这一块知...
均方差损失函数MSELoss详解及反向传播中的梯度求导 摘要本文给出均方差损失函数 MSELoss 的定义并求解其在反向传播中的梯度.相关系列文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文均方差损失函数 MSELoss 定义简洁, 梯度求导简单, 应用广泛.1. 梯度设向量 s 作为预测值, 向量 y 为实际值, 由 MSELoss 函数计算得出误差值...
纯Python和PyTorch对比实现门控循环单元GRU及反向传播 摘要本文使用纯 Python 和 PyTorch 对比实现门控循环单元GRU及其反向传播.相关配套代码, 请参考文章 :门控循环单元GRUCell详解及反向传播的梯度求导文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. GRUCell 类文件目录 : vanilla_nn/grucell.py...
门控循环单元GRUCell详解及反向传播的梯度求导 摘要本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播Affine 变换的定义和梯度, 请参考文章 :affine/linear(仿射/线性)变换函数详解及全连...
纯Python和PyTorch对比实现循环神经网络LSTM及反向传播 摘要本文使用纯 Python 和 PyTorch 对比实现循环神经网络LSTM及其反向传播.相关配套代码, 请参考文章 :长短期记忆网络LSTMCell单元详解及反向传播的梯度求导文章索引 :https://blog.csdn.net/oBrightLamp/article/details/85067981正文1. LSTMCell 类文件目录 : vanilla_nn/lstm...
长短期记忆网络LSTMCell单元详解及反向传播的梯度求导 摘要本文给出长短期记忆网络LSTMCell单元的定义公式, 并求解其在反向传播中的梯度.求导过程比较长, 涉及的变量很多, 但求导过程并不难, 只要细心即可.给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.相关配套代码, 请参考文章 :纯 Python 和 PyTorch 对比实现循环神经网络 LSTM 及反向传播Affine 变换的定义和...
深度学习算法与编程 (暂停更新) affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导https://blog.csdn.net/oBrightLamp/article/details/84333111
纯Python和PyTorch对比实现循环神经网络RNNCell及反向传播 摘要本文使用纯 Python 和 PyTorch 对比实现循环神经网络RNNCell单元及其反向传播相关原理和详细解释, 请参考:循环神经网络RNNCell单元详解及反向传播的梯度求导https://blog.csdn.net/oBrightLamp/article/details/85015325正文import torchimport numpy as npnp.rando...
关注
