大模型的核心配置参数解释

无极低码

于 2025-04-16 09:15:20 发布

阅读量738

点赞数 16

分类专栏：人工智能 Python学习笔记文章标签：大模型人工智能

本文链接：https://blog.csdn.net/a913222/article/details/147265211

版权

                    
                        
                    
                    1. config.json 
内容：这是一个 JSON 文件，包含了 BERT 模型的所有配置信息。
作用：用于初始化模型架构。它定义了诸如隐藏层大小、注意力头数、层数等超参数。
示例：{
     
  "architectures": ["BertForSequenceClassification"],
  "attention_probs_dropout_prob": 0.1,
  "hidden_act": "gelu",
  "hidden_dropout_prob": 0.1,
  "hidden_size": 768,
  "initializer_range": 0.02,
  "intermediate_size"

                