一、感知机
1、训练感知机
2、感知机不能拟合XOR函数,它只能产生线性分割面
3、感知机是一个二分类模型,它的求解算法等价于使用批量大小为1的梯度下降。
二、多层感知机
1、单隐藏层,单分类
2、sigmoid激活函数,将输入投影到(0,1)
3、Tanh激活函数,将输入投影到(-1,1)
4、ReLU激活函数
5、多隐藏层
6、多层感知机使用隐藏层和激活函数来得到非线性模型;
常用的激活函数是Sigmoid,Tanh,ReLU;
使用Softmax来处理多类分类;
超参数为隐藏层数,和各个隐藏层大小。
三、实现多层感知机
1、初始化模型参数
num_inputs, num_outputs, num_hiddens = 784, 10, 256 W1 = nn.Parameter(torch.randn( num_inputs, num_hiddens, requires_grad=True) * 0.01) b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True)) W2 = nn.Parameter(torch.randn( num_hiddens, num_outputs, requires_grad=True) * 0.01) b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True)) params = [W1, b1, W2, b2]
2、激活函数
def relu(X): a = torch.zeros_like(X) return torch.max(X, a)
3、模型
def net(X): X = X.reshape((-1, num_inputs)) H = relu(X @ W1 + b1) # 这里“@”代表矩阵乘法 return (H @ W2 + b2)
4、损失函数
loss = nn.CrossEntropyLoss(reduction='none')
5、训练
num_epochs, lr = 10, 0.1 updater = torch.optim.SGD(params, lr=lr) d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)