Llama-factory的yaml配置参数--学习记录

最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。

# 可选参数

# 模型和适配器相关
--adapter_name_or_path  # 描述: 适配器的名称或路径。
--adapter_folder  # 描述: 适配器文件夹路径。
--cache_dir  # 描述: 缓存目录。
--use_fast_tokenizer / --no_use_fast_tokenizer  # 描述: 是否使用快速分词器。
--resize_vocab  # 描述: 是否调整词汇表大小。
--split_special_tokens  # 描述: 是否拆分特殊标记。
--new_special_tokens  # 描述: 新的特殊标记。
--model_revision  # 描述: 模型修订版本。
--low_cpu_mem_usage / --no_low_cpu_mem_usage  # 描述: 是否使用低 CPU 内存。

# 量化和推理相关
--quantization_method {bitsandbytes,hqq,eetq}  # 描述: 量化方法。
--quantization_bit  # 描述: 量化位数。
--quantization_type {fp4,nf4}  # 描述: 量化类型。
--double_quantization / --no_double_quantization  # 描述: 是否进行双重量化。
--quantization_device_map {auto}  # 描述: 量化设备映射。
--rope_scaling {linear,dynamic}  # 描述: ROPE 缩放。
--flash_attn {auto,disabled,sdpa,fa2}  # 描述: 闪存注意力设置。
--shift_attn  # 描述: 是否移位注意力。
--mixture_of_depths {convert,load}  # 描述: 深度混合策略。
--use_unsloth  # 描述: 是否使用 Unsloth。
--visual_inputs  # 描述: 是否包含视觉输入。

# 训练相关
--moe_aux_loss_coef  # 描述: MOE 辅助损失系数。
--disable_gradient_checkpointing  # 描述: 是否禁用梯度检查点。
--upcast_layernorm  # 描述: 是否上转换 LayerNorm。
--upcast_lmhead_output  # 描述: 是否上转换 LM 头输出。
--train_from_scratch  # 描述: 是否从头开始训练。
--infer_backend {huggingface,vllm}  # 描述: 推理后端。
--vllm_maxlen  # 描述: vLLM 最大长度。
--vllm_gpu_util  # 描述: vLLM GPU 利用率。
--vllm_enforce_eager  # 描述: 是否强制启用 eager 模式。
--vllm_max_lora_rank  # 描述: vLLM 最大 LoRA 排名。
--offload_folder  # 描述: 离线文件夹路径。
--use_cache / --no_use_cache  # 描述: 是否使用缓存。
--infer_dtype {auto,float16,bfloat16,float32}  # 描述: 推理数据类型。
--hf_hub_token  # 描述: Hugging Face Hub 令牌。
--ms_hub_token  # 描述: ModelScope Hub 令牌。

# 导出相关
--export_dir  # 描述: 导出目录。
--export_size  # 描述: 导出大小。
--export_device {cpu,auto}  # 描述: 导出设备。
--export_quantization_bit  # 描述: 导出量化位数。
--export_quantization_dataset  # 描述: 导出量化数据集。
--export_quantization_nsamples  # 描述: 导出量化样本数。
--export_quantization_maxlen  # 描述: 导出量化最大长度。
--export_legacy_format  # 描述: 是否导出为遗留格式。
--export_hub_model_id  # 描述: 导出到 Hub 的模型 ID。
--print_param_status  # 描述: 是否打印参数状态。

# 数据和训练配置
--template  # 描述: 数据模板。
--dataset  # 描述: 数据集名称。
--dataset_dir  # 描述: 数据集目录。
--split  # 描述: 数据集拆分。
--cutoff_len  # 描述: 截断长度。
--train_on_prompt  # 描述: 是否在提示上训练。
--streaming  # 描述: 是否启用流式传输。
--buffer_size  # 描述: 缓冲区大小。
--mix_strategy {concat,interleave_under,interleave_over}  # 描述: 数据混合策略。
--interleave_probs  # 描述: 混合概率。
--overwrite_cache  # 描述: 是否覆盖缓存。
--preprocessing_num_workers  # 描述: 预处理工作线程数。
--max_samples  # 描述: 最大样本数。
--eval_num_beams  # 描述: 评估时使用的 beam 数量。
--ignore_pad_token_for_loss / --no_ignore_pad_token_for_loss  # 描述: 是否在计算损失时忽略填充标记。
--val_size  # 描述: 验证集大小。
--packing  # 描述: 是否启用数据打包。
--neat_packing  # 描述: 是否启用整洁打包。
--tool_format  # 描述: 工具格式。
--tokenized_path  # 描述: 分词后的数据路径。

# 训练过程控制
--overwrite_output_dir  # 描述: 是否覆盖输出目录。
--do_train  # 描述: 是否进行训练。
--do_eval  # 描述: 是否进行评估。
--do_predict  # 描述: 是否进行预测。
--eval_strategy {no,steps,epoch}  # 描述: 评估策略。
--prediction_loss_only  # 描述: 是否只计算预测损失。
--per_device_train_batch_size  # 描述: 每个设备的训练批次大小。
--per_device_eval_batch_size  # 描述: 每个设备的评估批次大小。
--per_gpu_train_batch_size  # 描述: 每个 GPU 的训练批次大小。
--per_gpu_eval_batch_size  # 描述: 每个 GPU 的评估批次大小。
--gradient_accumulation_steps  # 描述: 梯度累积步数。
--eval_accumulation_steps  # 描述: 评估累积步数。
--eval_delay  # 描述: 评估延迟。
--learning_rate  # 描述: 学习率。
--weight_decay  # 描述: 权重衰减。
--adam_beta1  # 描述: Adam 优化器的 beta1 参数。