神经网络的线性单元不能拟合指数表达

'''
目前神经网络一直都是采用relu（非线性单元）作为激活函数，目的是产生类似异或表达，比如线性函数的可加性就被很好的破坏掉了
f（ax+by）=af(x)+bf(y) 在加入relu之后不成立了。

但是对于e^x 这种轨迹,relu还能有很好的拟合能力吗？我们做个实验看看吧。
'''
import torch
from torch import nn
import torch.optim as optimizer
import numpy as np

data_x = [1.1, 1, 4, 6, 8, 10, 11, 12, 13, 14, 15]
data_y = [np.e ** x for x in data_x]

x = torch.tensor(data_x).reshape(-1, 1).float()
y = torch.tensor(data_y).unsqueeze(1).float()


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.layer1 = nn.Sequential(nn.Linear(1, 16), nn.ReLU())
        self.layer2 = nn.Sequential(nn.Linear(16, 1))
    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = torch.tensor(np.e) ** x  #可以注释掉看一看
        return x

learning_rate = 1e-3
model = Net()
criterion = nn.MSELoss()
optimizer = optimizer.Adam(model.parameters(), lr=learning_rate)
for epoch in range(1000):
    out = model(x)
    optimizer.zero_grad()
    loss = criterion(out, y)
    loss.backward()
    optimizer.step()
    print(loss.data)

out = model(x)
print(data_y)
print(out)
'''
如果大家把在网络里前向传播的np.e部分注释掉会发现收敛的很慢很慢，因为relu只能拟合直线，要用直线去拟合一个指数表达是非常困难的
当我们在前向传播里加入了指数表达会发现收敛的非常快，数据相对更准确一点，但是缺点很明显容易过拟合。
在构建神经网络的时候对数据的分析要比闷着头尝试网络效果要好。
'''