【转载】nn.BiLinear功能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/nihate/article/details/90480459

我们都知道在pytorch中的nn.Linear表示线性变换，官方文档给出的数学计算公式是 y = xA^T + b，其中x是输入，A是权值，b是偏置，y是输出，卷积神经网络中的全连接层需要调用nn.Linear就可以实现。而在看pytorch的源码linear.py文件时可以看到里面有Bilinear的定义，起初看到这个名字，大家会以为它是实现对图像做放大的上采样插值，可是在pytorch中有nn.Upsample模块是对图像做上采样的。于是看linear.py文件中对Bilinear的定义，如下图所示

可以看到它的数学计算公式是y = x1 * A * x2 + b，不过里面关于shape的说明，讲的含糊不清。为了弄懂Bilinear的计算过程，我们按照文档给出的例子运行一次nn.Bilinear的计算，然后把两个输入input1和input2，以及weight和bias都转换成numpy.array的形式，然后用numpy函数实现一次Bilinear的计算，把最后的输出结果跟nn.Bilinear的计算输出结果求误差值，代码如下：

 
 
 

  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
     print(
     
     
     'learn nn.Bilinear')