''' 目前神经网络一直都是采用relu(非线性单元)作为激活函数,目的是产生类似异或表达,比如线性函数的可加性就被很好的破坏掉了 f(ax+by)=af(x)+bf(y) 在加入relu之后不成立了。 但是对于e^x 这种轨迹,relu还能有很好的拟合能力吗?我们做个实验看看吧。 ''' import torch from torch import nn import torch.optim as optimizer import numpy as np data_x = [1.1, 1, 4, 6, 8, 10, 11, 12, 13, 14, 15] data_y = [np.e ** x for x in data_x] x = torch.tensor(data_x).reshape(-1, 1).float() y = torch.tensor(data_y).unsqueeze(1).float() class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.layer1 = nn.Sequential(nn.Linear(1, 16), nn.ReLU()) self.layer2 = nn.Sequential(nn.Linear(16, 1)) def forward(self, x): x = self.layer1(x) x = self.layer2(x) x = torch.tensor(np.e) ** x #可以注释掉看一看 return x learning_rate = 1e-3 model = Net() criterion = nn.MSELoss() optimizer = optimizer.Adam(model.parameters(), lr=learning_rate) for epoch in range(1000): out = model(x) optimizer.zero_grad() loss = criterion(out, y) loss.backward() optimizer.step() print(loss.data) out = model(x) print(data_y) print(out) ''' 如果大家把在网络里前向传播的np.e部分注释掉会发现收敛的很慢很慢,因为relu只能拟合直线,要用直线去拟合一个指数表达是非常困难的 当我们在前向传播里加入了指数表达会发现收敛的非常快,数据相对更准确一点,但是缺点很明显容易过拟合。 在构建神经网络的时候对数据的分析要比闷着头尝试网络效果要好。 '''
神经网络的线性单元不能拟合指数表达
最新推荐文章于 2023-11-08 18:37:09 发布