今天比较烦躁,但为了保持学习的继续,今天水一篇简单的。
d_model = 512
d_ff = 2048
self.fc = nn.Sequential(
nn.Linear(d_model, d_ff, bias=False),
nn.ReLU(),
nn.Linear(d_ff, d_model, bias=False)
)
生成下面的结构
今天比较烦躁,但为了保持学习的继续,今天水一篇简单的。
d_model = 512
d_ff = 2048
self.fc = nn.Sequential(
nn.Linear(d_model, d_ff, bias=False),
nn.ReLU(),
nn.Linear(d_ff, d_model, bias=False)
)
生成下面的结构