_yuki_

X记法：C[r][c] = 乘法(A中取r行，B中取C列)

方法2）正态分布归一化，这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。使用求得的均值和方差对该批次的训练数据做归一化，获得（0，1）正态分布。和β是在训练时网络自己学习得到的，换句话说正态分布式的数据归一化变成了下面的形式来进行数据归一化。方法1） [0,1]归一化，使结果值映射到[0,1]之间。这一步是BN的精髓，由于归一化后的。为所有样本数据的标准差，映射到[-1,1]之间。

转置卷积、膨胀卷积

eniops使用

​FLOPS：注意全大写，是floating point operations per second的缩写（这里的大S表示second秒），表示每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量，用以衡量算法/模型复杂度。MACs ：每秒执行的定点乘累加操作次数的缩写，它是衡量计算机定点处理能力的量，这个量经常用在那些需要大量定点乘法累加运算的科学运算中，记为MACs。.

概念：准确率(accuracy) 精确率(precision) 召回率(recall) 精确率与召回率的调和均值(F1)定义：True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数-误报(Type I error). False Negative(假负 , FN)：将正类预测为负类数-漏报(Type II error)....

概念：点乘，叉乘是线性代数中强调的概念，所以主要针对一维矢量或者二维矩阵的运算，能够在二维或者三位空间进行可视化； 矩阵乘法、克罗内克积、哈达马积则是矩阵论中的概念，强调的是更为一般性的n维向量的运算规则，矩阵内积操作向量在内积空间中的矩阵乘法。 矩阵乘法是使用最多的运算，比如在 torc h中 * 、@、mm函数。点乘可以视作矩阵乘法对两个一位矢量的运算规则。 卷积的运算规则与哈达马积相同，而哈达马积又是克罗内克积一种特殊情况，所以在一些论文中表达卷积操作， ⊗ 、∘、⊙ 、*...

概念：nn.Conv1d:常用在文本(B,C,L) (batch,channel,sequence_len) （批数量，通道数，句子长度） nn.Conv2d:常用在图像(B,C,H,W) (batch,channel,height,width) （批数量，通道数，高度，长度） nn.Conv3d:常用在（时序）帧图像(B,C,D,H,W) (batch,channel,depth,height,width) （批...

问题前面笔记提到BN，BN对于batch size极为敏感，越小性能越差。为解决该问题，已有各种方法被提出用于解决上述问题，比如LayerNorm, InstanceNor, GroupNorm等等。但是这些方法在大batch size下无法超越BN的性能，这无疑是这些方法的弊端所在。一、FRN论文：地址对比效果：公式：pytorch-完整复现：地址1、地址2代码复现：import torchfrom torch import nnp.

概念：一个MFLOPS（megaFLOPS）等于每秒一百万（=10^6）次的浮点运算， 一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算， 一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉) 一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算， 一个EFLOPS（exaFLOPS）等于每秒一百京（=10^18）次的浮点运算， 一个ZFLOPS（zettaFLOPS）等于每秒十万京（=10^21

概念：Batch Normalization (BN):在batch上，对NHW做归一化，对小batchsize效果不好 Layer Normalization (LN):在通道方向上，对CHW归一化，主要对RNN作用明显 Instance Normalization (IN):在图像像素上，对HW做归一化，用在风格化迁移 Group Normalization (GN):将channel分组，然后再做归一化 Switchable Normalization (SN):将BN、LN、IN结合，赋