vcc12v-CSDN博客

原创深度学习中的Batchnorm和Layernorm

对于Batchnorm, 其有三种形式BatchNorm1d的输入为BN或者是BNDBatchNorm2d的输入为BCHWBatchNorm3d的输入为BDDHW我一般遇到的数据是BN或者是BND, 因此只需要用到BatchNorm1d.

2024-01-09 20:59:04 876

给定数据矩阵 X(N×D)\boldsymbol{X}\left(N\times D\right)X(N×D), 经常需要求解每两个样本间的距离Dijx=∥xi−xj∥22D^x_{ij}=\left\|\boldsymbol{x}_i-\boldsymbol{x}_j\right\|_2^2Dijx=∥xi−xj∥22.Remark: 这个距离矩阵的用处有很多，如核函数，对比学习, etc.目前我所知有3种编程方法可以求解DijxD^x_{ij}Dijx.Elementary calcula

2023-06-11 21:11:13 683

原创 torch.nn.Embedding

在我看来torch.nn.Embedding就是把离散值映射成连续值，事实上它也是这么操作的，其流程是离散值→Onehot→连续值。

2023-05-22 21:06:40 256 2

原创机器学习中的矩阵求导

机器学习中的矩阵求导前言向量值映照的微分(向量对向量对求导)向量值函数的复合微分一般求导流程例子参考文献前言初学机器学习的时候遇到矩阵或向量的导数总是十分头疼。后来在学习过程中，老师告诉我说记住一些普遍的形式，然后套用即可；也有的教程是说采用行形式或者列形式。但我觉得这些都只是在隔靴搔痒，并没有真正地解决矩阵求导的问题。于是我考虑了张量分析，自以为给出了一个矩阵求导的通用规则。其实只要一切归结于矩阵元的运算就可以很容易地看懂张量缩并的运算，继而导出矩阵求导。这其实是一种非常形而上的计算方法，但我个人还是

2023-05-08 20:34:16 159

原创 einsum函数

einsum就是爱因斯坦求和约定，其实质上是在求和过程中将求和符号省略, 在张量分析中求和总是以上下重复指标的形式出现，因此这些指标是傀儡指标，即使去掉也不影响, i.e.,Ci⋅jAi⋅kBk⋅j这其实是一个矩阵乘法, 如果你愿意至少可以写成有三种实现方式.具体看一下用einsum是如何工作的。

2023-05-05 17:52:00 149 1

原创 pandas函数之groupby

Remark: 在使用本身的分组的信息应该使用as_index=False，在使用人为的分组的信息应该使用as_index=True。最近在做项目的时候遇到了，需要将数据根据某个（多个）字段划分为不同的组的情况。从这里可以看出，groupby的返回值首先是一个包含索引的tuple，之后是相应的分组数据。，因为函数内部具体操作了哪些也不是很清楚，很有可能不是少了列就是多了列，注意遍历的时候取出的数据，最后label是放进去的。也可以对分组后的结果计算一些统计信息。根据索引就可以得到某一分组的数据。

2023-04-23 20:33:26 74 2

原创 Zero Shot Learning | 零样本学习算法解析(数据与算法)

之前在看故障诊断论文中，偶尔看到了关于零样本学习(Zero Shot Learning)的内容，一直就对零样本学习这个主题很感兴趣。然而，一直对零样本的数据设置与相关算法感到一知半解，直到最近看到了Liangjun_Feng(CSDN)大佬的博客，结合Relational Knowledge Transfer for Zero-Shot Learning论文，以及Liangjun_Feng复现的代码，才算初探了零样本学习的门径。因此，发表这一篇CSDN博客。

2023-04-14 18:59:12 1402 2

vcc12v的博客