gpt2结构

已于 2024-05-05 15:35:16 修改
阅读量238 收藏
点赞数 4
文章标签： python 算法 语言模型
于 2024-05-05 15:34:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61631811/article/details/138467552
版权

Config

GPT2Config {
  "activation_function": "gelu_new",
  "architectures": [
    "GPT2LMHeadModel"
  ],
  "attn_pdrop": 0.1,
  "bos_token_id": 50256,
  "embd_pdrop": 0.1,
  "eos_token_id": 50256,
  "initializer_range": 0.02,
  "layer_norm_epsilon": 1e-05,
  "model_type": "gpt2",
  "n_ctx": 1024,
  "n_embd": 768,
  "n_head": 12,
  "n_inner": null,
  "n_layer": 12,
  "n_positions": 1024,
  "reorder_and_upcast_attn": false,
  "resid_pdrop": 0.1,
  "scale_attn_by_inverse_layer_idx": false,
  "scale_attn_weights": true,
  "summary_activation": null,
  "summary_first_dropout": 0.1,
  "summary_proj_to_labels": true,
  "summary_type": "cls_index",
  "summary_use_proj": true,
  "task_specific_params": {
    "text-generation": {
      "do_sample": true,
      "max_length": 50
    }
  },
  "transformers_version": "4.38.2",
  "use_cache": true,
  "vocab_size": 50257
}

name & moudle

打印网络结构

for name, module in model.named_modules():
    print(name)
    print(module)
GPT2LMHeadModel(
  (transformer): GPT2Model(
    (wte): Embedding(50257, 768)
    (wpe): Embedding(1024, 768)
    (drop): Dropout(p=0.1, inplace=False)
    (h): ModuleList(
      (0-11): 12 x GPT2Block(
        (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
        (attn): GPT2Attention(
          (c_attn): Conv1D()
          (c_proj): Conv1D()
          (attn_dropout): Dropout(p=0.1, inplace=False)
          (resid_dropout): Dropout(p=0.1, inplace=False)
        )
        (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
        (mlp): GPT2MLP(
          (c_fc): Conv1D()
          (c_proj): Conv1D()
          (act): NewGELUActivation()
          (dropout): Dropout(p=0.1, inplace=False)
        )
      )
    )
    (ln_f): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  )
  (lm_head): Linear(in_features=768, out_features=50257, bias=False)
)
transformer
GPT2Model(
  (wte): Embedding(50257, 768)
  (wpe): Embedding(1024, 768)
  (drop): Dropout(p=0.1, inplace=False)
  (h): ModuleList(
    (0-11): 12 x GPT2Block(
      (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
      (attn): GPT2Attention(
        (c_attn): Conv1D()
        (c_proj): Conv1D()
        (attn_dropout): Dropout(p=0.1, inplace=False)
        (resid_dropout): Dropout(p=0.1, inplace=False)
      )
      (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
      (mlp): GPT2MLP(
        (c_fc): Conv1D()
        (c_proj): Conv1D()
        (act): NewGELUActivation()
        (dropout): Dropout(p=0.1, inplace=False)
      )
    )
  )
  (ln_f): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
)
transformer.wte
Embedding(50257, 768)
transformer.wpe
Embedding(1024, 768)
transformer.drop
Dropout(p=0.1, inplace=False)
transformer.h
ModuleList(
  (0-11): 12 x GPT2Block(
    (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
    (attn): GPT2Attention(
      (c_attn): Conv1D()
      (c_proj): Conv1D()
      (attn_dropout): Dropout(p=0.1, inplace=False)
      (resid_dropout): Dropout(p=0.1, inplace=False)
    )
    (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
    (mlp): GPT2MLP(
      (c_fc): Conv1D()
      (c_proj): Conv1D()
      (act): NewGELUActivation()
      (dropout): Dropout(p=0.1, inplace=False)
    )
  )
)
transformer.h.0
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.0.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.0.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.0.attn.c_attn
Conv1D()
transformer.h.0.attn.c_proj
Conv1D()
transformer.h.0.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.0.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.0.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.0.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.0.mlp.c_fc
Conv1D()
transformer.h.0.mlp.c_proj
Conv1D()
transformer.h.0.mlp.act
NewGELUActivation()
transformer.h.0.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.1
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.1.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.1.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.1.attn.c_attn
Conv1D()
transformer.h.1.attn.c_proj
Conv1D()
transformer.h.1.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.1.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.1.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.1.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.1.mlp.c_fc
Conv1D()
transformer.h.1.mlp.c_proj
Conv1D()
transformer.h.1.mlp.act
NewGELUActivation()
transformer.h.1.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.2
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.2.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.2.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.2.attn.c_attn
Conv1D()
transformer.h.2.attn.c_proj
Conv1D()
transformer.h.2.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.2.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.2.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.2.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.2.mlp.c_fc
Conv1D()
transformer.h.2.mlp.c_proj
Conv1D()
transformer.h.2.mlp.act
NewGELUActivation()
transformer.h.2.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.3
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.3.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.3.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.3.attn.c_attn
Conv1D()
transformer.h.3.attn.c_proj
Conv1D()
transformer.h.3.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.3.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.3.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.3.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.3.mlp.c_fc
Conv1D()
transformer.h.3.mlp.c_proj
Conv1D()
transformer.h.3.mlp.act
NewGELUActivation()
transformer.h.3.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.4
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.4.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.4.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.4.attn.c_attn
Conv1D()
transformer.h.4.attn.c_proj
Conv1D()
transformer.h.4.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.4.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.4.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.4.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.4.mlp.c_fc
Conv1D()
transformer.h.4.mlp.c_proj
Conv1D()
transformer.h.4.mlp.act
NewGELUActivation()
transformer.h.4.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.5
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.5.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.5.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.5.attn.c_attn
Conv1D()
transformer.h.5.attn.c_proj
Conv1D()
transformer.h.5.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.5.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.5.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.5.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.5.mlp.c_fc
Conv1D()
transformer.h.5.mlp.c_proj
Conv1D()
transformer.h.5.mlp.act
NewGELUActivation()
transformer.h.5.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.6
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.6.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.6.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.6.attn.c_attn
Conv1D()
transformer.h.6.attn.c_proj
Conv1D()
transformer.h.6.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.6.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.6.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.6.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.6.mlp.c_fc
Conv1D()
transformer.h.6.mlp.c_proj
Conv1D()
transformer.h.6.mlp.act
NewGELUActivation()
transformer.h.6.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.7
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.7.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.7.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.7.attn.c_attn
Conv1D()
transformer.h.7.attn.c_proj
Conv1D()
transformer.h.7.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.7.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.7.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.7.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.7.mlp.c_fc
Conv1D()
transformer.h.7.mlp.c_proj
Conv1D()
transformer.h.7.mlp.act
NewGELUActivation()
transformer.h.7.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.8
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.8.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.8.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.8.attn.c_attn
Conv1D()
transformer.h.8.attn.c_proj
Conv1D()
transformer.h.8.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.8.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.8.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.8.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.8.mlp.c_fc
Conv1D()
transformer.h.8.mlp.c_proj
Conv1D()
transformer.h.8.mlp.act
NewGELUActivation()
transformer.h.8.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.9
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.9.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.9.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.9.attn.c_attn
Conv1D()
transformer.h.9.attn.c_proj
Conv1D()
transformer.h.9.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.9.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.9.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.9.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.9.mlp.c_fc
Conv1D()
transformer.h.9.mlp.c_proj
Conv1D()
transformer.h.9.mlp.act
NewGELUActivation()
transformer.h.9.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.10
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.10.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.10.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.10.attn.c_attn
Conv1D()
transformer.h.10.attn.c_proj
Conv1D()
transformer.h.10.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.10.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.10.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.10.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.10.mlp.c_fc
Conv1D()
transformer.h.10.mlp.c_proj
Conv1D()
transformer.h.10.mlp.act
NewGELUActivation()
transformer.h.10.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.h.11
GPT2Block(
  (ln_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (attn): GPT2Attention(
    (c_attn): Conv1D()
    (c_proj): Conv1D()
    (attn_dropout): Dropout(p=0.1, inplace=False)
    (resid_dropout): Dropout(p=0.1, inplace=False)
  )
  (ln_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
  (mlp): GPT2MLP(
    (c_fc): Conv1D()
    (c_proj): Conv1D()
    (act): NewGELUActivation()
    (dropout): Dropout(p=0.1, inplace=False)
  )
)
transformer.h.11.ln_1
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.11.attn
GPT2Attention(
  (c_attn): Conv1D()
  (c_proj): Conv1D()
  (attn_dropout): Dropout(p=0.1, inplace=False)
  (resid_dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.11.attn.c_attn
Conv1D()
transformer.h.11.attn.c_proj
Conv1D()
transformer.h.11.attn.attn_dropout
Dropout(p=0.1, inplace=False)
transformer.h.11.attn.resid_dropout
Dropout(p=0.1, inplace=False)
transformer.h.11.ln_2
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
transformer.h.11.mlp
GPT2MLP(
  (c_fc): Conv1D()
  (c_proj): Conv1D()
  (act): NewGELUActivation()
  (dropout): Dropout(p=0.1, inplace=False)
)
transformer.h.11.mlp.c_fc
Conv1D()
transformer.h.11.mlp.c_proj
Conv1D()
transformer.h.11.mlp.act
NewGELUActivation()
transformer.h.11.mlp.dropout
Dropout(p=0.1, inplace=False)
transformer.ln_f
LayerNorm((768,), eps=1e-05, elementwise_affine=True)
lm_head
Linear(in_features=768, out_features=50257, bias=False)

长腿老头o3o
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
gpt2-chinese
05-05
1. 中文语境理解：由于训练于大量中文文本，gpt2-chinese模型能够较好地理解和生成中文句子，捕捉到中文特有的语法结构和表达方式。 2. 连贯性与多样性：GPT2模型生成的文本连贯性较高，且具备多样性的特点，能根据...
GPT2-Chinese 优化显示和权重保存
01-19
《GPT2-Chinese 优化显示与权重保存详解》 GPT2-Chinese 是一个基于Transformer架构的预训练语言模型，由阿里云开发，旨在处理中文文本生成任务。该模型借鉴了OpenAI的GPT2模型，但在训练数据集上有所不同，主要...
探秘GPT2-Summary：高效文本摘要神器
gitblog_00077的博客
04-20 389
探秘GPT2-Summary：高效文本摘要神器 项目地址:https://gitcode.com/qingkongzhiqian/GPT2-Summary GPT2-Summary 是一个基于OpenAI的GPT-2模型的文本自动摘要工具，旨在帮助用户快速生成长文本的精简概述。这个项目巧妙地利用了深度学习的力量，为新闻报道、研究论文、长篇小说等提供了便捷的摘要生成服务。 技术解析 GPT-2是Op...
GPT2文本生成有问题？这里有些潜在解决思路
AI科技大本营
01-28 5911
作者 |Leo Gao译者 | 凯隐编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）【导读】在过去的一年中，人们对文本生成模型的兴趣重新燃起，这在很大程度上要归功...
GPT和GPT2结构的区别
小姑仔的博客
05-29 1043
GPT1结构图如下所示： GPT2结构图如下： 注意，GPT2的最后一个LayerNorm在24个transformers或是12个transformers结构之后添加的， 这里layernormalization放在前面类似于预激活函数的设定，在另外一篇文章Identity mappings in deep residual networks. 这里在Idenity mapping in deep residual networks之中有推导过程，这里简单的写一下 原始残差单元计算公式如下： yl=h(x
GPT系列：GPT-2模型结构简述和实践
2401_85375298的博客
06-03 932
GPT（Generative Pre-Trained Transformer，生成式预训练Transformer模型），它是基于Transformer的Decoder解码器在海量文本上训练得到的预训练模型。GPT采用自回归的工作方式，能够查看句子的一部分并且预测下一个单词，不断重复这个过程来生成连贯且适当上下文文本。
GPT2模型详解
热门推荐
weixin_36378508的博客
12-09 2万+
一 背景介绍 GPT2模型是OpenAI组织在2018年于GPT模型的基础上发布的新预训练模型，其论文原文为 language_models_are_unsupervised_multitask_learners GPT2模型的预训练语料库为超过40G的近8000万的网页文本数据，GPT2的预训练语料库相较于GPT而言增大了将近10倍。 二 GPT2与GPT 模型的区别 3 GPT2模型结构 GPT-2 模型由多层单向 Transformer 的解码器部分构成，本质上是自回归模型，自回归的意思是指
GPT2原理
orangerfun的博客
08-05 1578
GPT-2 是使用 transformer 的解码块构建的，而 BERT 用的是编码块，但一个关键不同在于 GPT-2 是和传统语言模型一样，每次只输出一个token；模型实际运作方式是将已经输出的token作为下一轮输入的一部分，这也叫“自回归” 图1. time step = 1 输入[recite the first law $ A] 输出robot 图2. 输入[recite the first law $ A robot] 输出may GPT-2 和后来的模型比如 Transform
GPT系列：GPT-2模型结构简述和实践_gpt2
2401_85379281的博客
07-20 795
GPT的背景来源和发展简述GPT的自回归工作方式图解GPT-2的网络结构GPT的解码采样策略minGPT源码分析和文本生成实战。
详细理解GPT2模型结构及其训练过程—GPT系列训练与部署
叶子的博客
05-30 9731
本文为专栏《Python从零开始进行AIGC大模型训练与推理》系列文章，地址为“https://blog.csdn.net/suiyingy/article/details/130169592”。
图解GPT2
weixin_43564920的博客
02-06 1019
从存储空间来看，我们的输入法只需要几十MB的空间，但是GPT-2最小的模型就需要500MB来存储它的参数，而最大的GPT-2模型是它的13倍，需要6.5GB的存储空间来存储其参数。在《Sample Efficient Text Summarization Using a Single Pre-Trained Transformer》，只有解码器的transformer结构首先在语言模型上进行预训练，然后微调做摘要任务，结果证明，在有限的数据设置中，它比预先训练的编码器-解码器变压器取得更好的结果。
浅谈GPT-2
喜欢打酱油的老鸟
02-01 2090
GPT-2 自google在2018年10月底公布BERT在11项NLP任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型。在统治人工智能界长达4个月后，bert终于迎来了一个新的“对手”——GPT-2（openAI产品）。 GPT-2模型 最近在做一个项...
gpt2-chinese-cluecorpussmall
05-05
对于GPT2-Chinese-ClueCorpussmall而言，"Chinese"表示它专为中文语言定制，这意味着模型的参数和内部结构都经过调整，以适应中文的语法特点和词汇分布。而"ClueCorpussmall"则揭示了其训练数据来源，...
gpt2-base-chinese
05-05
标题“gpt2-base-chinese”指的是一个针对中文语言的预训练模型，它基于GPT-2模型架构。GPT-2（Generative Pre-trained Transformer 2）是由OpenAI开发的一种大规模语言模型，最初设计用于英文文本生成。GPT-2的工作...
gpt2-ml-master（GPT2 多语言支持, 15亿参数中文预训练模型）.zip
06-05
GPT2-ML-Master是一个基于GPT-2模型的多语言版本，特别针对中文进行了优化，具有15亿参数的预训练模型。GPT-2是由OpenAI开发的生成式预训练Transformer（Generative Pre-trained Transformer），它在自然语言处理...
大模型微调工具-torchtune
weixin_40777649的博客
08-08 1003
1.定义2.安装3. 案例。
NVIDIA-CUDA
qq_41081716的博客
08-08 440
CUDA 是一种强大的并行计算平台，它极大地扩展了 GPU 的用途，使其不仅仅局限于图形处理。通过利用 CUDA，开发人员可以编写高效、高性能的并行应用程序，这些应用程序可以用于各种计算密集型任务。如果您正在从事高性能计算或需要加速计算任务的工作，CUDA 是一个非常有用的工具。
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 639
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
《python语言程序设计》2018版第6章第42题Turtle：绘制sin函数，使用程序清单6-14中的函数简化5.52代码
最新发布
电饭叔
08-10 275
在output06th.py中的代码。
Bert和GPT网络结构
05-17
Bert（Bidirectional Encoder Representations from Transformers）和GPT（Generative Pre-trained Transformer）都是基于Transformer网络结构的自然语言处理模型。但是它们在网络结构上有一些不同。 Bert是一个...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值