今天来打卡task3.
这个task是从讲解卷积神经网络CNN开始的。
在语言心理学中做语义分割时,经常会用到这个模型。但它的应用不仅在此。
我们先来看定义。
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类。
它的结构有:输入层、隐含层、输出层。
其中隐含层包含卷积层、池化层和全连接层3类构筑,卷积层和池化层是CNN所特有的。
卷积层包括卷积核、卷积层参数、激励函数。
池化层包括Lp池化,随机混合池化、谱池化。
我们接下来先在Pytorch中构建一个非常简单的CNN。
放上训练代码:
# 损失函数
criterion = nn.CrossEntropyLoss()
# 优化器
optimizer = torch.optim.Adam(model.parameters(), 0.005)
loss_plot, c0_plot = [], []
# 迭代10个Epoch
for epoch in range(10):
for data in train_loader:
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
optimizer.zero_grad()
loss.backward()
optimizer.step()
loss_plot.append(loss.item())
c0_plot.append((c0.argmax(1)==data[1]:,0]).sum().item()*1.0 / c0.shape[0])
print(epoch)
可以看到模型的损失随着迭代次数的提升在逐步减小,这里可以可视化绘个图。
还可以看到字符的准确率也在不断提升。
一些具体参数在实际应用中还是要自己进行更改,这样可以得到更好的、更适合的结果。