pytorh-transformer

torch.nn.Transformer

torch.nn.Transformer(d_model: int = 512, nhead: int = 8, num_encoder_layers: int = 6, num_decoder_layers: int = 6, dim_feedforward: int = 2048, dropout: float = 0.1, activation: str = 'relu', custom_encoder: Optional[Any] = None, custom_decoder: Optional[Any] = None)

参数：

• d_model –编码器/解码器输入大小（默认 512）。
• nhead –多头注意力模型的头数（默认为8）。
• num_encoder_layers –编码器中子编码器层的数量（默认为6）。
• num_decoder_layers –解码器中子解码器层的数量（默认为6）。
• dim_feedforward –前馈网络模型的中间层维度（默认= 2048）。
• dropout –默认值= 0.1。
• activation–编码器/解码器中间层的激活函数，relu或gelu（默认值= relu）。
• custom_encoder –自定义编码器