头歌工程实训答案-机器学习篇之神经网络

第1关：网络层

import torch.nn as nn

myNet = nn.Sequential(

    ########## Begin ##########

    nn.Linear(3,100),

    nn.Linear(100,1000),

    nn.Linear(1000,100),

    nn.Linear(100,10)

    ########## End ##########

)

print(myNet)

第2关：激活函数

import torch

from torch.autograd import Variable

import torch.nn.functional as F

x = torch.linspace(-5, 5, 200)   # 构造一段连续的数据

x = Variable(x)

########## Begin ##########

print("y_sigmoid:")

y_sigmoid = torch.sigmoid(x)

print(y_sigmoid)

print("y_tanh:")

y_tanh = torch.tanh(x)

print(y_tanh)

print("y_relu:")

y_relu = torch.relu(x)

print(y_relu)

print("y_softplus:")

y_softplus = F.softplus(x)

print(y_softplus)

print("y_leakyrelu:")

y_leakyrelu = F.leaky_relu(x)

print(y_leakyrelu)

print("y_ELU:")

y_ELU = F.elu(x)

print(y_ELU)

print("y_SELU:")

y_SELU = torch.selu(x)

print(y_SELU)

########## End ##########

第3关：模型优化

• 1、

  在模型优化过程中，Dropout层的作用是（A）

  A、

  防止模型过拟合

  B、

  防止模型欠拟合

  C、

  减少模型参数，实现模型压缩

  D、

  加快模型训练速度

• 2、

  在给定的数据集D上训练模型。然后，将该模型的softmax层之前的输出视为另一小模型的软目标。利用软目标传递来提高小模型的泛化能力，从而提高其性能。以上描述的是哪一种模型压缩方法（D）

  A、

  网络剪枝

  B、

  张量分解

  C、

  数据量化

  D、

  知识蒸馏