神经网络之多层感知机（MLP）

  介绍

  多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。

  应用mxnet包我们可以十几行代码快速地实现MLP

  代码

import d2lzh as d2l
from mxnet import gluon, init
from mxnet.gluon import loss as gloss, nn

net = nn.Sequential()
net.add(nn.Dense(256, activation='relu'),
        nn.Dense(128, activation='relu'),
        nn.Dense(10))
net.initialize(init.Normal(sigma=0.01))

  nn其实就是neural network，nn.Sequential()意思是搞一个容器，在里面可以装各种隐藏层

  这里加了两个隐藏层，且都是全连接层，第一层是256个神经元，第二层是128个神经元，激活函数都relu，最后使输出层10个类别，net.initialize初始化权重为服从（0,0.01）的正态分布的随机数，然后bias也就是b默认为0

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

loss = gloss.SoftmaxCrossEntropyLoss()
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.5})
num_epochs = 5
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, batch_size, None,
              None, trainer)

  采取小批量梯度下降法，小批量的样本数为256，然后数据是从d2l这个包里导入的，里面是服装图片，可以分成十类（衣服鞋子什么的上篇文章有讲到），然后设置损失函数，d2l.train_ch3最后三个参数要么把params权重偏差和lr学习速率丢进去，要不就是像上面的这样，先丢进trainer里，然后前两个写none，再放入trainer。

  

可以看到测试集的准确率先增大后减小了，这可能是因为学习速率太大缘故（学习速率此时为0.5），将其改成0.01在原有基础继续学习，结果如下：

问题解决了，此时没有出现准确率下降情况，而是稳步提高。

以上就是MLP多层感知机的实现，可以看到非常简单，如果有任何问题，欢迎讨论。