torch.nn与torch.nn.functional之间的区别和联系

原文地址：https://blog.csdn.net/GZHermit/article/details/78730856

迷惑的地方是在于forward的函数的定义方法。为什么要把网络中的一部分层在__init__()函数里定义出来，而另一部分层则是在__forward()__函数里定义？并且一个用的是nn，另一个用的是nn.functional。同一种层的API定义有两种，这样看似冗余的设计是为了什么呢？

nn.Conv2d是一个类，而F.conv2d()是一个函数，而nn.Conv2d的forward()函数实现是用F.conv2d()实现的（在Module类里的__call__实现了forward()函数的调用，所以当实例化nn.Conv2d类时，forward()函数也被执行了，详细可阅读torch源码），所以两者功能并无区别，那么为什么要有这样的两种实现方式同时存在呢？

原因其实在于，为了兼顾灵活性和便利性。

在建图过程中，往往有两种层，一种如全连接层，卷积层等，当中有Variable，另一种如Pooling层，Relu层等，当中没有Variable。

如果所有的层都用nn.functional来定义，那么所有的Variable，如weights，bias等，都需要用户来手动定义，非常不方便。

而如果所有的层都换成nn来定义，那么即便是简单的计算都需要建类来做，而这些可以用更为简单的函数来代替的。

所以在定义网络的时候，如果层内有Variable,那么用nn定义，反之，则用nn.functional定义。