paddle基础网络解析

2021-03-05 02:36:27 95 收藏
分类专栏： paddle课程 文章标签： 神经网络 深度学习 人工智能 paddlepaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45623093/article/details/114381753
版权

paddle基础 网络解析

项目地址

基础网络搭建解析

在这里插入图片描述

人类对图像的理解和计算机是完全不用的，计算机读取的数据是一串数字，所以理解起来会比较困难。
在这里插入图片描述
语义鸿沟，对于计算机来说，像素和区域 极为相似或者迷惑性极强的有些人类不仔细看也容易看错更何况是机器呢？
在这里插入图片描述
对于解决这些问题还需要更加努力提高机器的理解和更好的ai技术

图像识别的流程

使用机器学习（深度学习）的目的：寻找一个合适的函数
在这里插入图片描述

我们可以通过数据处理、建立模型、训练模型、测试模型等一系类的过程得到一个比较好的结果
在这里插入图片描述

神经元

神经元来源于人的神经网络
人神经细胞结构大致可分为：树突、突触、细胞体及轴突。
单个神经细胞可被视为一种只有两种状态的机器——激动时为‘是’，而未激动时为‘否’。
刚刚好可以对应我们计算机的0和1 大量的神经元 进行堆叠 刚好可以对应神经网络
在这里插入图片描述

网络结构

网络结构分为线性，卷积等
在一个网络中上一层的输出和本层的输入必须对应
一般我们必须要考虑的是输入层和输出层至于中间的可以统一称为隐藏层

接下去我们进行举例：以输入（1,28,28）输出10为例子构建几个常见的网络

import paddle
import paddle.nn as nn
from paddle.nn import Linear
import paddle.nn.functional as F
from paddle.vision.transforms import ToTensor

# 单层线性网络
model=nn.Linear(in_features=1*28*28, out_features=10)  # 定义线性网络
paddle.summary(model, (1*28*28))

---------------------------------------------------------------------------
 Layer (type)       Input Shape          Output Shape         Param #    
===========================================================================
   Linear-3           [[784]]                [10]              7,850     
===========================================================================
Total params: 7,850
Trainable params: 7,850
Non-trainable params: 0
---------------------------------------------------------------------------
Input size (MB): 0.00
Forward/backward pass size (MB): 0.00
Params size (MB): 0.03
Estimated Total Size (MB): 0.03
---------------------------------------------------------------------------

{'total_params': 7850, 'trainable_params': 7850}

# DNN
class MyDNN(paddle.nn.Layer):
    def __init__(self):
        super(MyDNN,self).__init__()
        self.hidden1 = Linear(28,100)
        self.hidden2 = Linear(100,100)
        self.hidden3 = Linear(100,28)
        self.hidden4 = Linear(1*28*28,10)
    
    def forward(self,input):
        # print(input.shape)
        x = self.hidden1(input)
        x =F.relu(x)
        # print(x.shape)
        x = self.hidden2(x)
        x = F.relu(x)
        # print(x.shape)
        x = self.hidden3(x)
        x = F.relu(x)
        # print(x.shape)
        x = paddle.reshape(x, shape=[-1,1*28*28])  
        x = self.hidden4(x)
        y = F.softmax(x)
        # print(y.shape)
        return y

network = MyDNN()
paddle.summary(network, (1, 28, 28))  

---------------------------------------------------------------------------
 Layer (type)       Input Shape          Output Shape         Param #    
===========================================================================
   Linear-8        [[1, 28, 28]]         [1, 28, 100]          2,900     
   Linear-9        [[1, 28, 100]]        [1, 28, 100]         10,100     
   Linear-10       [[1, 28, 100]]        [1, 28, 28]           2,828     
   Linear-11         [[1, 784]]            [1, 10]             7,850     
===========================================================================
Total params: 23,678
Trainable params: 23,678
Non-trainable params: 0
---------------------------------------------------------------------------
Input size (MB): 0.00
Forward/backward pass size (MB): 0.05
Params size (MB): 0.09
Estimated Total Size (MB): 0.14
---------------------------------------------------------------------------

{'total_params': 23678, 'trainable_params': 23678}

CNN说明

参考资料
在这里插入图片描述

在这里插入图片描述在这里插入图片描述

network = nn.Sequential(
    nn.Conv2D(in_channels=1, out_channels=6, kernel_size=3, stride=1, padding=1),  # 卷积
    nn.ReLU(),  # 激活函数
    nn.MaxPool2D(kernel_size=2, stride=2),  # 最大池化
    nn.Conv2D(in_channels=6, out_channels=16, kernel_size=5, stride=1, padding=0),
    nn.ReLU(),
    nn.MaxPool2D(kernel_size=2, stride=2),
    nn.Flatten(),
    nn.Linear(in_features=400, out_features=120),  # 400 = 5x5x16，输入形状为32x32， 输入形状为28x28时调整为256
    nn.Linear(in_features=120, out_features=84),
    nn.Linear(in_features=84, out_features=10)
)
paddle.summary(network, (1, 1, 28, 28))

---------------------------------------------------------------------------
 Layer (type)       Input Shape          Output Shape         Param #    
===========================================================================
   Conv2D-12      [[1, 1, 28, 28]]      [1, 6, 28, 28]          60       
    ReLU-3        [[1, 6, 28, 28]]      [1, 6, 28, 28]           0       
  MaxPool2D-3     [[1, 6, 28, 28]]      [1, 6, 14, 14]           0       
   Conv2D-13      [[1, 6, 14, 14]]     [1, 16, 10, 10]         2,416     
    ReLU-4       [[1, 16, 10, 10]]     [1, 16, 10, 10]           0       
  MaxPool2D-4    [[1, 16, 10, 10]]      [1, 16, 5, 5]            0       
   Flatten-5      [[1, 16, 5, 5]]          [1, 400]              0       
   Linear-21         [[1, 400]]            [1, 120]           48,120     
   Linear-22         [[1, 120]]            [1, 84]            10,164     
   Linear-23         [[1, 84]]             [1, 10]              850      
===========================================================================
Total params: 61,610
Trainable params: 61,610
Non-trainable params: 0
---------------------------------------------------------------------------
Input size (MB): 0.00
Forward/backward pass size (MB): 0.11
Params size (MB): 0.24
Estimated Total Size (MB): 0.35
---------------------------------------------------------------------------

{'total_params': 61610, 'trainable_params': 61610}

# api已有网络
network = paddle.vision.models.resnet101(num_classes=10)
paddle.summary(network, (1, 3, 224, 224))

-------------------------------------------------------------------------------
   Layer (type)         Input Shape          Output Shape         Param #    
===============================================================================
    Conv2D-123       [[1, 3, 224, 224]]   [1, 64, 112, 112]        9,408     
  BatchNorm2D-105   [[1, 64, 112, 112]]   [1, 64, 112, 112]         256      
      ReLU-43       [[1, 64, 112, 112]]   [1, 64, 112, 112]          0       
    MaxPool2D-8     [[1, 64, 112, 112]]    [1, 64, 56, 56]           0       
    Conv2D-125       [[1, 64, 56, 56]]     [1, 64, 56, 56]         4,096     
  BatchNorm2D-107    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
      ReLU-44        [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       
    Conv2D-126       [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     
  BatchNorm2D-108    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
    Conv2D-127       [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     
  BatchNorm2D-109    [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     
    Conv2D-124       [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     
  BatchNorm2D-106    [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     
BottleneckBlock-34   [[1, 64, 56, 56]]     [1, 256, 56, 56]          0       
    Conv2D-128       [[1, 256, 56, 56]]    [1, 64, 56, 56]        16,384     
  BatchNorm2D-110    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
      ReLU-45        [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       
    Conv2D-129       [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     
  BatchNorm2D-111    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
    Conv2D-130       [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     
  BatchNorm2D-112    [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     
BottleneckBlock-35   [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       
    Conv2D-131       [[1, 256, 56, 56]]    [1, 64, 56, 56]        16,384     
  BatchNorm2D-113    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
      ReLU-46        [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       
    Conv2D-132       [[1, 64, 56, 56]]     [1, 64, 56, 56]        36,864     
  BatchNorm2D-114    [[1, 64, 56, 56]]     [1, 64, 56, 56]          256      
    Conv2D-133       [[1, 64, 56, 56]]     [1, 256, 56, 56]       16,384     
  BatchNorm2D-115    [[1, 256, 56, 56]]    [1, 256, 56, 56]        1,024     
BottleneckBlock-36   [[1, 256, 56, 56]]    [1, 256, 56, 56]          0       
    Conv2D-135       [[1, 256, 56, 56]]    [1, 128, 56, 56]       32,768     
  BatchNorm2D-117    [[1, 128, 56, 56]]    [1, 128, 56, 56]         512      
      ReLU-47        [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-136       [[1, 128, 56, 56]]    [1, 128, 28, 28]       147,456    
  BatchNorm2D-118    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
    Conv2D-137       [[1, 128, 28, 28]]    [1, 512, 28, 28]       65,536     
  BatchNorm2D-119    [[1, 512, 28, 28]]    [1, 512, 28, 28]        2,048     
    Conv2D-134       [[1, 256, 56, 56]]    [1, 512, 28, 28]       131,072    
  BatchNorm2D-116    [[1, 512, 28, 28]]    [1, 512, 28, 28]        2,048     
BottleneckBlock-37   [[1, 256, 56, 56]]    [1, 512, 28, 28]          0       
    Conv2D-138       [[1, 512, 28, 28]]    [1, 128, 28, 28]       65,536     
  BatchNorm2D-120    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
      ReLU-48        [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-139       [[1, 128, 28, 28]]    [1, 128, 28, 28]       147,456    
  BatchNorm2D-121    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
    Conv2D-140       [[1, 128, 28, 28]]    [1, 512, 28, 28]       65,536     
  BatchNorm2D-122    [[1, 512, 28, 28]]    [1, 512, 28, 28]        2,048     
BottleneckBlock-38   [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-141       [[1, 512, 28, 28]]    [1, 128, 28, 28]       65,536     
  BatchNorm2D-123    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
      ReLU-49        [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-142       [[1, 128, 28, 28]]    [1, 128, 28, 28]       147,456    
  BatchNorm2D-124    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
    Conv2D-143       [[1, 128, 28, 28]]    [1, 512, 28, 28]       65,536     
  BatchNorm2D-125    [[1, 512, 28, 28]]    [1, 512, 28, 28]        2,048     
BottleneckBlock-39   [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-144       [[1, 512, 28, 28]]    [1, 128, 28, 28]       65,536     
  BatchNorm2D-126    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
      ReLU-50        [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-145       [[1, 128, 28, 28]]    [1, 128, 28, 28]       147,456    
  BatchNorm2D-127    [[1, 128, 28, 28]]    [1, 128, 28, 28]         512      
    Conv2D-146       [[1, 128, 28, 28]]    [1, 512, 28, 28]       65,536     
  BatchNorm2D-128    [[1, 512, 28, 28]]    [1, 512, 28, 28]        2,048     
BottleneckBlock-40   [[1, 512, 28, 28]]    [1, 512, 28, 28]          0       
    Conv2D-148       [[1, 512, 28, 28]]    [1, 256, 28, 28]       131,072    
  BatchNorm2D-130    [[1, 256, 28, 28]]    [1, 256, 28, 28]        1,024     
      ReLU-51       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-149       [[1, 256, 28, 28]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-131    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-150       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-132   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
    Conv2D-147       [[1, 512, 28, 28]]   [1, 1024, 14, 14]       524,288    
  BatchNorm2D-129   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-41   [[1, 512, 28, 28]]   [1, 1024, 14, 14]          0       
    Conv2D-151      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-133    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-52       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-152       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-134    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-153       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-135   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-42  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-154      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-136    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-53       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-155       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-137    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-156       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-138   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-43  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-157      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-139    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-54       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-158       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-140    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-159       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-141   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-44  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-160      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-142    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-55       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-161       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-143    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-162       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-144   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-45  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-163      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-145    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-56       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-164       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-146    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-165       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-147   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-46  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-166      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-148    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-57       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-167       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-149    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-168       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-150   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-47  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-169      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-151    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-58       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-170       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-152    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-171       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-153   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-48  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-172      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-154    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-59       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-173       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-155    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-174       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-156   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-49  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-175      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-157    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-60       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-176       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-158    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-177       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-159   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-50  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-178      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-160    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-61       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-179       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-161    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-180       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-162   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-51  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-181      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-163    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-62       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-182       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-164    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-183       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-165   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-52  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-184      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-166    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-63       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-185       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-167    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-186       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-168   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-53  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-187      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-169    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-64       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-188       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-170    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-189       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-171   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-54  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-190      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-172    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-65       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-191       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-173    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-192       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-174   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-55  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-193      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-175    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-66       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-194       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-176    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-195       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-177   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-56  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-196      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-178    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-67       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-197       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-179    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-198       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-180   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-57  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-199      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-181    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-68       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-200       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-182    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-201       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-183   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-58  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-202      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-184    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-69       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-203       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-185    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-204       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-186   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-59  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-205      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-187    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-70       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-206       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-188    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-207       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-189   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-60  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-208      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-190    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-71       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-209       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-191    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-210       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-192   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-61  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-211      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-193    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-72       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-212       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-194    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-213       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-195   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-62  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-214      [[1, 1024, 14, 14]]    [1, 256, 14, 14]       262,144    
  BatchNorm2D-196    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
      ReLU-73       [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-215       [[1, 256, 14, 14]]    [1, 256, 14, 14]       589,824    
  BatchNorm2D-197    [[1, 256, 14, 14]]    [1, 256, 14, 14]        1,024     
    Conv2D-216       [[1, 256, 14, 14]]   [1, 1024, 14, 14]       262,144    
  BatchNorm2D-198   [[1, 1024, 14, 14]]   [1, 1024, 14, 14]        4,096     
BottleneckBlock-63  [[1, 1024, 14, 14]]   [1, 1024, 14, 14]          0       
    Conv2D-218      [[1, 1024, 14, 14]]    [1, 512, 14, 14]       524,288    
  BatchNorm2D-200    [[1, 512, 14, 14]]    [1, 512, 14, 14]        2,048     
      ReLU-74        [[1, 2048, 7, 7]]     [1, 2048, 7, 7]           0       
    Conv2D-219       [[1, 512, 14, 14]]     [1, 512, 7, 7]       2,359,296   
  BatchNorm2D-201     [[1, 512, 7, 7]]      [1, 512, 7, 7]         2,048     
    Conv2D-220        [[1, 512, 7, 7]]     [1, 2048, 7, 7]       1,048,576   
  BatchNorm2D-202    [[1, 2048, 7, 7]]     [1, 2048, 7, 7]         8,192     
    Conv2D-217      [[1, 1024, 14, 14]]    [1, 2048, 7, 7]       2,097,152   
  BatchNorm2D-199    [[1, 2048, 7, 7]]     [1, 2048, 7, 7]         8,192     
BottleneckBlock-64  [[1, 1024, 14, 14]]    [1, 2048, 7, 7]           0       
    Conv2D-221       [[1, 2048, 7, 7]]      [1, 512, 7, 7]       1,048,576   
  BatchNorm2D-203     [[1, 512, 7, 7]]      [1, 512, 7, 7]         2,048     
      ReLU-75        [[1, 2048, 7, 7]]     [1, 2048, 7, 7]           0       
    Conv2D-222        [[1, 512, 7, 7]]      [1, 512, 7, 7]       2,359,296   
  BatchNorm2D-204     [[1, 512, 7, 7]]      [1, 512, 7, 7]         2,048     
    Conv2D-223        [[1, 512, 7, 7]]     [1, 2048, 7, 7]       1,048,576   
  BatchNorm2D-205    [[1, 2048, 7, 7]]     [1, 2048, 7, 7]         8,192     
BottleneckBlock-65   [[1, 2048, 7, 7]]     [1, 2048, 7, 7]           0       
    Conv2D-224       [[1, 2048, 7, 7]]      [1, 512, 7, 7]       1,048,576   
  BatchNorm2D-206     [[1, 512, 7, 7]]      [1, 512, 7, 7]         2,048     
      ReLU-76        [[1, 2048, 7, 7]]     [1, 2048, 7, 7]           0       
    Conv2D-225        [[1, 512, 7, 7]]      [1, 512, 7, 7]       2,359,296   
  BatchNorm2D-207     [[1, 512, 7, 7]]      [1, 512, 7, 7]         2,048     
    Conv2D-226        [[1, 512, 7, 7]]     [1, 2048, 7, 7]       1,048,576   
  BatchNorm2D-208    [[1, 2048, 7, 7]]     [1, 2048, 7, 7]         8,192     
BottleneckBlock-66   [[1, 2048, 7, 7]]     [1, 2048, 7, 7]           0       
AdaptiveAvgPool2D-3  [[1, 2048, 7, 7]]     [1, 2048, 1, 1]           0       
     Linear-33          [[1, 2048]]            [1, 10]            20,490     
===============================================================================
Total params: 42,625,994
Trainable params: 42,415,306
Non-trainable params: 210,688
-------------------------------------------------------------------------------
Input size (MB): 0.57
Forward/backward pass size (MB): 391.63
Params size (MB): 162.61
Estimated Total Size (MB): 554.81
-------------------------------------------------------------------------------

{'total_params': 42625994, 'trainable_params': 42415306}

梯度下降

为了判断学习的好坏，已经效率等，引入了梯度 的概念
在这里插入图片描述

# 随机梯度下降算法的优化器
sgd_optimizer=paddle.optimizer.SGD(learning_rate=0.001, parameters=model.parameters())
# loss计算
mse_loss=paddle.nn.MSELoss()

训练模块

model.prepare(paddle.optimizer.Adam(learning_rate=0.001, parameters=model.parameters()),
              paddle.nn.CrossEntropyLoss(),   # 交叉熵损失函数。线性模型+该损失函数，即softmax分类器。
              paddle.metric.Accuracy(topk=(1,2)))
model.fit(train_dataset, # 训练数据集
          val_dataset,  # 测试数据集
          epochs=2, # 训练的总轮次
          batch_size=64, # 训练使用的批大小
          verbose=1)  # 日志展示形式

model.evaluate(test_dataset,batch_size=64,verbose=1)  # 评估

作者简介

作者：三岁
经历：自学python，现在混迹于paddle社区，希望和大家一起从基础走起，一起学习Paddle
csdn地址：https://blog.csdn.net/weixin_45623093/article/list/3
我在AI Studio上获得黄金等级，点亮7个徽章，来互关呀~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/284366

传说中的飞桨社区最差代码人，让我们一起努力！
记住：三岁出品必是精品 （不要脸系列）

已标记关键词 清除标记
使用paddle动态图搭建网络(入门)
qq_51693245的博客
03-10 52
前言 记录下如何用paddle2.0搭建一个网络，在动态图模式下用容易上手的高层api复现多种网络 使用paddle2.0动态图搭建网络(超简易) 环境 Aistudio项目 Notebook线上环境 paddle版本 : 2.0 使用动态图模式(默认) 参考 •多层感知机模型 •卷积网络 •学习目录 •以上均来自课程: https://aistudio.baidu.com/aistudio/course/introduce/11939?directly=1&shared=1 编写模型 ①感知机
表情包
插入表情
还能输入1000个字符
相关推荐
paddlepaddle初步印象
麦好的AI乐园
07-20 1万+
从其官网整理了一些资料如下：1、基本概念基本使用概念PaddlePaddle是源于百度的一个深度学习平台。PaddlePaddle为深度学习研究人员提供了丰富的API，可以轻松地完成神经网络配置，模型训练等任务。 这里将介绍PaddlePaddle的基本使用概念，并且展示了如何利用PaddlePaddle来解决一个经典的线性回归问题。 在使用该文档之前，请参考 安装文档 完成PaddlePaddl
paddlepaddle 图神经网络7日打卡营 学习心得
csdn666
11-29 40
最近这周参加了百度组织的paddlepaddle 图神经网络7日打卡营， 主要是学习了图神经网络的相关知识，以及用paddlepaddle进行相关案例的复现。 学习内容： 一、图学习初印象 图学习概述、入门路线 作业：安装环境，跑通 example 代码。 二、图游走类模型 DeepWalk、node2vec、metapath2vec、metapath2vec 变种模型 实践：DeepWalk代码解析 作业：以填空的方式完成 node2vec 模型复现 三、图神经网络算法（一） GCN、GAT、消息传递机制
飞桨（paddlepaddle ）入门图像分类最强指南
三岁学编程的博客
03-09 251
逐步梳理流程简易搭建模型，一站式流程，不要 太舒服！
paddle深度学习基础之数据处理以及优化
梁先森的博客
04-01 660
在这一系列基础课中，我将总结从数据处理到模型调参方方面面的基础知识的讲解。一方面作为自己学习的总结，另一方面给大家分享自己的一些想法和见解。这系列课程将以手写数字识别为基本例子，在此基础上，将这个例子由简到复杂一步一步的改进。
PaddlePaddle——手写数字识别DEMO
无限迭代中......
01-30 261
https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/02_paddle2.0_develop/01_quick_start_cn.html 运行环境 PaddlePaddle==2.0.0 DEMO1 #!usr/bin/env python # -*- coding:utf-8 _*- """ @version: 0.0.1 @author: ShenTuZhiGang @time: 2021/01/30 15:13 ..
使用paddle搭建多种卷积神经网络实现Cifar10数据集 解析
三岁学编程的博客
03-07 224
多种卷积神经网络实现Cifar10项目，内含具体卷积神经网络计算图解
2020.8.11-2020.8.16paddle学习心得体会③
qq_46010030的博客
08-16 192
手写数字识别 **数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别等领域，大大缩短了业务处理时间，提升了工作效率和质量。 在处理如 图1 所示的手写邮政编码的简单图像分类任务时，可以使用基于MNIST数据集的手写数字识别模型。MNIST是深度学习领域标准、易用的成熟数据集，包含60000条训练样本和10000条测试样本。 ** MNIST数据集 MNIST数据集是
使用paddle2.0实现单层感知机
三岁学编程的博客
02-23 40
国产框架paddle实现单层感知机！
1.2基础-paddlepaddle线性回归
千寻的博客
12-10 82
一个简单的paddlepaddle线性回归预测、模型保存、模型加载及使用的过程. 全连接神经网络，fluid.layers.fc:https://www.paddlepaddle.org.cn/documentation/docs/zh/api_cn/layers_cn/fc_cn.html#fc 平方误差，fluid.layers.square_error_cost：https://www....
paddle学习笔记：图像分割
qq_38589779的博客
10-26 128
paddle构建图像分割的一些深度学习模型图像分割FCNUnetPSPnetDeepLab系列总结参考论文 图像分割 图像分割一直是图像处理中比较热门的话题。从最以前的传统算法到现在比较流行的深度学习方法，归根到底，就是我们需要对图像不同的区域进行划分。而划分的依据就是根据图像上的像素点数值的差异进行划分，传统算法是通过建立一个模型去提取差异，而深度学习就是通过卷积，池化等一系列操作将图像的特征图（feature map）提取出来，然后通过对特征图进行处理，就可以对其进行分类。 FCN 前面，我们大概叙述了
经过笔试和多轮技术面试我居然败给了HR面？
万里羊的博客
04-05 1万+
相信有很多小伙伴在春招或者秋招的时候很期待的就是HR面，而且HR面也是作为压轴的面试。经过了哈希表、动态规划、二叉树、Linux…等重重技术考核，HR面不得好好准备一下？总不能最终因为HR说这个人不符合公司的企业文化之类的被刷掉吧！那么这篇文章就是专门针对HR面试环节总结的相关面试技巧，以及如何回答才能让HR比较满意！
java核心技术精讲
12-31
本课程主要读者全面细致的讲解Java编程的所有核心知识，从基础语法、到面向对象以及Java的实际应用进行完整讲解。官方QQ群：612148723。
《PaddlePaddle从入门到炼丹》九——迁移学习
夜雨飘零
01-17 4056
前言 在深度学习训练中，例如图像识别训练，每次从零开始训练都要消耗大量的时间和资源。而且当数据集比较少时，模型也难以拟合的情况。基于这种情况下，就出现了迁移学习，通过使用已经训练好的模型来初始化即将训练的网络，可以加快模型的收敛速度，而且还能提高模型的准确率。这个用于初始化训练网络的模型是使用大型数据集训练得到的一个模型，而且模型已经完全收敛。最好训练的模型和预训练的模型是同一个网络，这样可以最大限度地初始化全部层。
Paddle Inference原生推理库
吴建明wujianming_110117
02-12 288
Paddle Inference原生推理库 深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律，生成模型。有了训练好的模型，就要在线上环境中应用模型，实现对未知数据做出推理，这个过程在AI领域叫做推理部署。用户可以选择如下四种部署应用方式之一： • 服务器端高性能部署：将模型部署在服务器上，利用服务器的高性能帮助用户处理推理业务。 • 模型服务化部署：将模型以线上服务的形式部署在服务器或者云端，用户通过客户端请求发送需要推理的输入内容，服务
《PaddlePaddle从入门到炼丹》五——循环神经网络
夜雨飘零
11-03 4134
文章目录前言训练模型预测数据参考资料 前言 除了卷积神经网络，深度学习中还有循环神经网络也是很常用的，循环神经网络更常用于自然语言处理任务上。我们在这一章中，我们就来学习如何使用PaddlePaddle来实现一个循环神经网络，并使用该网络完成情感分析的模型训练。 训练模型 首先导入Python库，fluid和numpy库我们在前几章都有使用过，这里就不重复了。这里主要结束是imdb库，这个是一个数...
PyTorch的nn.Linear（）详解
zerone_zjp的博客
09-16 2952
nn.Linear（） PyTorch的 nn.Linear（）是用于设置网络中的全连接层的 需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。 其用法与形参说明如下： in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。 out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接
PyTorch的nn.Linear（）详解
qq_42079689的博客
11-02 8万+
  PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意的是全连接层的输入与输出都是二维张量，一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。   out_features指的是输出的二维张量的大小，即...
Python-支持主流深度学习框架模型转换至百度PaddlePaddle飞桨
08-11
X2Paddle is a toolkit for converting trained model to PaddlePaddle from other deep learning frameworks. 支持主流深度学习框架模型转换至PaddlePaddle（飞桨）
2 万字全面测评深度学习框架 PaddlePaddle、TensorFlow 和 Keras | 程序员硬核评测
CSDN资讯
05-10 2222
【CSDN 编者按】人工智能想入门深度学习？却苦恼网上的入门教程太零碎，不知道用什么框架好？本文作者用两万字手分别从百度的PaddlePaddle深度学习框架、Googl...
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__ 返回首页