pytorch的一些函数

1. torch.mul() 、 torch.mm() 及torch.matmul()

        torch.mul(a, b) 是矩阵a和b对应位相乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵；
        torch.mm(a, b) 是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵。
        torch.bmm() 强制规定维度和大小相同。
        torch.matmul() 没有强制规定维度和大小，可以用利用广播机制进行不同维度的相乘操作。

2. nn.init.xavier_uniform_(tensor, gain)

        Xavier初始化方法的定义分布方法，具体用法可见 pytorch系列 -- 9 pytorch nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization_墨氲的博客-CSDN博客_nn.init.normal_

3. torch.empty()

        创建一个使用未初始化值填满的tensor.

4. 创建张量的方法

        torch.tensor(a)、torch.Tensor(a)、torch.as_tensor(a)和torch.from_numpy(a)。

        其中，234中的tensor数据类型都会继承a的数据类型。34会和a共享内存，也就是改变a也会改变34创建的张量值。

5. x.view(n, m)

        view()的作用相当于numpy中的reshape，重新定义矩阵的形状。

        注意n*m要等于x中的元素个数。

        如果n或者m为-1，那就是根据另一位的数值，自动补齐这一个维数。

6. @staticmethod方法

        不实例化类的情况下直接访问该方法。

        正常我们使用类去实例化对象时会先走 init方法给对象进行初始化赋值。但是使用了staticmethod静态方法后可以直接使用 （类.对象或者类的实例.对象） 去调用被静态方法装饰后的函数，这个过程是不会走init这个方法的，简言之就是不会给对象进行赋值初始化。
        静态方法有助于优化代码结构和提高程序的可读性,把某些应该属于某个类的函数给放到那个类里去。也就是可以把被静态方法装饰的函数放在类的外面，这样在类里面可以调用该函数，但是这样对代码的结构以及可读性不太友好。

7. _的五种用法

        Python中的下划线(_)的五种用法_寰宇001的博客-CSDN博客_python 下划线函数

8. torch.ones_like（x）

        返回一个张量，维数和x一致，元素值全为1.

9. torch.where(condition, x, y)

        根据条件，返回从x,y中选择元素所组成的张量。如果满足条件，则返回x中元素。若不满足，返回y中元素。

10. torch.nn.functional.dropout(tensor, self.dropout, training=self.training)

        F.dropout 是一个函数，参数包含输入的tensor，概率和training 为真还是假。当training 是真的时候，才会将一部分元素置为0，其他元素会乘以 1/(1-p). training 为false的时候，dropout不起作用。默认情况下training是True。

        之所以要放大保留的元素，是为了是保留元素的均值和整体的均值一致。因为dropout的实质是将某些神经元的值变为零，但是，这些神经元对应的维度还是存在的。