BatchNorm和LayerNorm的区别；PCA详解；LogSoftmax相较于Softmax的优势

已于 2023-03-09 14:57:34 修改
阅读量232 收藏
点赞数
分类专栏： # 深度学习基础知识 文章标签： 深度学习
于 2022-11-07 09:09:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gqrblnp/article/details/127724777
版权
本文详细解析了BatchNorm与LayerNorm在不同维度上的应用区别，并深入介绍了PCA的原理及其优势。通过对比两种归一化技术，读者可以更好地理解它们在神经网络中的作用。同时，本文还提供了PCA的全面解释，帮助读者掌握这一重要的数据降维方法。
摘要由CSDN通过智能技术生成

1 BatchNorm和LayerNorm的区别：1、2

总结： 

假设输入为四个维度(batch_size, channel, height, width)

（1）BatchNorm应用在通道（特征）维——channel

（2）LayerNorm应用在样本维——batch_size

对其他三个维度进行归一化

2 PCA详解：PCA详解

3 LogSoftmax相较于Softmax的优势

ad转化器
关注
专栏目录
主成分分析（PCA）原理详解
Microstrong
06-09 65万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
Transformers 中的Softmax 和 Layer Norm 如何并行？
u012374012的专栏
08-06 1161
为啥叫 Fused？他给出的算法，可以在一个集合新增一个元素的时候，均值和方差的不需要把所有的数都遍历一遍，而是根据之前集合的均值和方差就可以直接计算出来。感兴趣的可以看看 oneflow 的一个 softmax 深度优化：https://www.oneflow.org/a/share/jishuboke/54.html . 源代码在https://github.com/Oneflow-Inc/oneflow/blob/master/oneflow/core/cuda/softmax.cuh。
透彻理解torch.tensor中对某一维度的操作们（mean，Softmax，batch norm， layer norm）
Fan19zju的博客
08-02 5927
一、问题介绍： torch当中例如 mean(dim=1) Softmax(dim=-1)以及layer norm和batch norm到底是怎么算的，常常令人感到迷惑。其实它们的道理是一样的 二、维度的直观概念 首先，如果对维度和矩阵中数据的结构没有直观感受的请阅读我另一篇文章： 三、详细讲解： 1.核心观点: function(dim=-1)就是说对dim=-1这个维度进行function操作 而对某维度进行操作的的意思就是： 每次把那些（除了这个维度以外其他维度的位置坐标都相同的）一组数据拿来运算
PCA和Softmax学习
hudongloop的博客
10-27 719
PCA和Softmax学习 老师上课说PCA（主成分分析）简单，不用讲，简单是简单，但也要看看，主要就是看fuldl上的教程，然后自己推导和matlab实现。 PCA pca算法 pca是一种降维方法，可以看做是逐一取方差最大方向，就是对协方差矩阵做特征值分解，取最大特征值所对应的方向。算法描述如下： 1 对所有样本进行中心化：xix_{i} xi−1m∑mi=1xix_{i}-\f
CUDA优化之LayerNorm性能优化实践
OneFlow深度学习框架
12-09 1264
撰文 | 郭冉、姚迟、郑泽康、柳俊丞2020年末，OneFlow 发布了《OneFlow 性能优化分享：如何实现一个高效的 Softmax CUDA kernel？》 ，其中介绍了OneF...
DeepMind: 用ReLU取代Softmax可以让Transformer更快
weixin_4528312的博客
09-24 2172
研究发现，利用线性ReLU替代Softmax来计算注意力矩阵，可以让transformer机制在不损失精度的情况下，提高机器训练的效率和成本。
PCA-Hotelling_机器学习_pca_PCA方法详解_
10-03
8. **优缺点**：PCA的优势在于简化数据复杂性，但可能会丢失部分非线性信息，并且对异常值敏感。 9. **其他相关方法**：对比PCA与其他降维方法，如LDA（线性判别分析）、t-SNE（t-distributed Stochastic Neighbor ...
PCA.zip_PCA 降维_PCA算法降维_pca适用于_pca降维_图片降维
07-15
4. 可视化：较低维度的数据更容易进行可视化，有助于理解数据结构和模式。 在实际操作中，PCA算法可以与其他技术结合，例如在人脸识别中，PCA可以与LDA（线性判别分析）结合，形成PCA-LDA，进一步增强分类性能。 ...
PCA降维技术详解与应用
09-24
内容概要：文章全面讲解了主成分分析(PCA)作为一种常见的数据降维方法的理论及其实际应用。通过对向量降维和矩阵降维的概念解析，以及对投影方式与优化准则的基础讲述，使读者能够深刻理解如何选取最优基矢以及决定...
PCA代码 及PCA详解
01-10
PCA（主成分分析）是一种广泛应用于数据科学领域的统计方法，尤其在图像处理、模式识别、数据分析等领域中，作为降维工具发挥着重要作用。PCA的主要目标是通过正交变换将一组可能相关的变量转换成一组线性不相关的...
【BBuf的CUDA笔记】六，总结 FasterTransformer Encoder(BERT) 的cuda相关优化技巧
I good vegetable a!
01-27 1515
解读：https://github.com/NVIDIA/FasterTransformer/blob/main/docs/bert_guide.md ，优化点解读之前是翻译了下 Faster Transformer BERT 的文档，然后省略了运行样例等环节，主要是解读下 BERT 的优化技巧。也就是 bert workflow 这张图。
​超细节的BatchNorm/BN/LayerNorm/LN/SyncLN/ShuffleBN/RMSNorm知识点
taoqick的专栏
05-21 2112
Norm，也即 Normalization，已经是深度神经网络模型中非常常规的操作了，但它背后的实现，原理和作用等，其实我们可以理解的更细致，本文会以最常用的 BatchNorm 和 LayerNorm 为例（其他 Norm 方法大同小异），通过 Q&A 的形式，去深入理解关于 Norm 的细节知识点。 BN 在训练和测试时的差异 BN 中的移动平均 Moving Average 是怎么做的？ 移动平均中 Momentum 参数的影响 Norm 中的标准化、平移
大型语言模型的推理演算
热门推荐
OneFlow深度学习框架
04-06 2万+
本文详细阐述了大型语言模型推理性能的几个基本原理，不含任何实验数据或复杂的数学公式，旨在加深读者对相关原理的理解。此外，作者还提出了一种极其简单的推理时延模型，该模型与实证结果拟合度高，可更好地预测和解释Transformer模型的推理过程。为了更好地阅读本文，读者需了解一些Transformer模型的相关先验知识，比如《图解Transformer》的...
吴恩达深度学习第二课第三周作业及学习心得体会 ——softmax、batchnorm
weixin_42604446的博客
08-31 2112
写在前面 本周课程用了两周完成，因为课程让用tensorflow实现，编码时还是更希望自己手写代码实现，而在实现过程中，低估了batchnorm反向计算的难度，导致算法出现各种bug，开始是维度上的bug导致代码无法运行，等代码可以运行时，训练神经网络的时候成本又总会发散，于是静下心来把整个运算的前向和反向过程认真推导了好几遍，期间参考网上一些资料，但感觉都没有把问题真正说清楚，连续三天的推导后...
pytorch:层标准化的实现，Layersnorm
xinjieyuan的博客
11-09 4019
通常
机器学习基础知识点⑤数据增强、类别不平衡
IOT_victor的博客
07-01 3803
1、NLP数据增强技术 https://zhuanlan.zhihu.com/p/151726605 CV领域的标配，比如对图像的旋转、镜像、高斯白噪声等。 （1）文本替代 文本替代主要是针对在不改变句子含义的情况下，替换文本中的单词，比如，同义词替换、词嵌入替换等等。 同义词替换：在文本中随机抽取一个单词，然后再同义词库里将其替换为同义词。比如，使用WordNet数据库，将「awesome」替换为「amazing」。 词嵌入替换：采取已经预训练好的单词嵌入，如Word2Vec、GloVe、Fa
caffe常用层Convolution，SoftmaxLayer和SoftmaxLossLayer原理解析
bemyself24
07-08 2933
写在前面：昨天面试，面试官问各种关于caffe的问题，之前以为自己对caffe很熟，但是竟然一问三不知，深受打击。主要这段时间一直在看C++基础算法部分，都没怎么复习caffe，看来是人老了，脑子跟不上了，趁着双休，好好把caffe过一遍。主要是对常用层原理的一些说明 参考caffe的api document：http://caffe.berkeleyvision.org/doxygen/anno
深度学习：卷积神经网络中的im2col
最新发布
m0_49786943的博客
10-31 646
第二行为 2，3，4，6，7，8，10，11，12，18，19，20，22，23，24，26，27，28，34，35，36，38，39，40，42，43，44 即第二次卷积运算所涉及到的输入数据。第一行为 1，2，3，5，6，7，9，10，11，17，18，19，21，22，23，25，26，27，33，34，35，37，38，39，41，42，43 即第一次卷积运算所涉及到的输入数据。在传统的卷积操作中，卷积核（滤波器）在输入图像上滑动，逐个计算每个位置的卷积结果。若是批大小为10，即保存10倍的数据。
PCA算法相较于神经网络，鲁棒性较好还是较差？
05-31
相较于神经网络，PCA算法的鲁棒性较好。PCA算法是一种基于数学方法的降维算法，它可以通过对数据进行主成分分析，将高维数据转换为低维数据。PCA算法的主要优点是可以提高模型的鲁棒性，降低过拟合的风险，并且可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值