深度学习
文章平均质量分 76
BrotherHappy
故事还长,樱花依旧。
展开
-
各种归一化的总结BN,LN
各种归一化的总结前提:以图像为例,假设输入的维度为(B,C,H,W)(B,C,H,W)(B,C,H,W) BBB的意思是批量输入。1. BatchNormtorch.nn.BatchNorm2d(num_features, eps=0, momentum=0, affine=False, track_running_stats=False)保留了通道的维度,按照通道分开分成C个(B,1,H,W)然后求得C个均值。然后利用这C个均值和C个方差。然后学习仿射变换,变换到一个具有新的方差和均值的高斯分布原创 2021-04-09 10:17:08 · 146 阅读 · 0 评论 -
详解谷歌机器翻译模型:Transformer
详解谷歌机器翻译模型:Transformer1. 模型框/架2. 具体的步骤2.1 Embedding algorithm2.2 使用单词进行具体说明2.3 三个向量Query vector,Key vector和Value vectorQuery\,vector,Key\,vector和Value\, vectorQueryvector,Keyvector和Valuevector的细节step 1 后面的计算position都以111为标准step 2step32.4 向量化表示,三个向量的矩阵话运算表示原创 2021-03-25 19:40:45 · 2447 阅读 · 0 评论