LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

于 2024-06-12 13:59:06 发布
阅读量790 收藏 28
点赞数 29
文章标签： 学习 人工智能 机器学习 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325726/article/details/139624832
版权

0.前言

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

模型的自动评测技术可以分为rule-based和model-based两大类：

  • rule-based方法：
  • benchmark以客观题为主，例如多选题，被测的LLM通过理解context/question，来指定最佳答案
  • 解析LLM的response，与标准答案做对比
  • 计算metric（accuracy、rouge、bleu等）
  • model-based方法：
  • 裁判员模型（e.g. GPT-4、Claude、Expert Models/Reward models）
  • LLM Peer-examination

img

如何评估一个LLM

  • 哪些维度？
  • 语义理解（Understanding）
  • 知识推理（Reasoning）
  • 专业能力（e.g. coding、math）
  • 应用能力（MedicalApps、AgentApps、AI-FOR-SCI …）
  • 指令跟随（Instruction Following）
  • 鲁棒性（Robustness）
  • 偏见（Bias）
  • 幻觉（Hallucinations）
  • 安全性（Safety）

img

例：GPT-4 vs LLaMA2-7B能力维度对比评测

1. 自动评估方法

模型效果评估

  • 基准和指标（Benchmarks & Metrics）
数据集描述评价指标样例
MMLUMassiveMultitaskLanguageUnderstanding 一个多任务数据集，由各种学科的多项选择题组成。涵盖STEM、人文、社科等领域。包括57个子任务，包括初等数学、美国历史、计算机科学、法律等等。AccuracyQuestion: In 2016, about how many people in the United States were homeless? A. 55,000 B. 550,000 C. 5,500,000 D. 55,000,000 Answer: B
TriviaQA阅读理解数据集，包含超过65万个问题-答案-证据三元组。其包括95K个问答对，由冷知识爱好者提供 + 独立收集的事实性文档撰写EM(ExactMatch) F1 (word-level)（问题-答案-证据文档）
MATH12500道数学题，每道包含step-by-step solutionAccuracy
HumanEvalHumanEval (Hand-Written Evaluation Set) 一个手写的问题解决数据集，要求根据给定的问题和代码模板，生成正确的代码片段。包含164个高质量的问题，涵盖五种编程语言：Python, C++, Java, Go, 和 JavaScript。pass@k{ “task_id”: “test/0”, “prompt”: “def return1():\n”, “canonical_solution”: " return 1", “test”: “def check(candidate):\n assert candidate() == 1”, “entry_point”: “return1” }

img
😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

- **Rule-based自动评测**

基本流程

img

  • 根据数据集原始question来构建prompt

示例(few-shot)

img

示例：few-shot with CoT

代码语言：javascript

复制

    # Examples in BBH
    
    Evaluate the result of a random Boolean expression.
    
    Q: not ( ( not not True ) ) is
    A: Let's think step by step.
    Remember that (i) expressions inside brackets are always evaluated first and that (ii) the order of operations from highest priority to lowest priority is "not", "and", "or", respectively.
    We first simplify this expression "Z" as follows: "Z = not ( ( not not True ) ) = not ( ( A ) )" where "A = not not True".
    Let's evaluate A: A = not not True = not (not True) = not False = True.
    Plugging in A, we get: Z = not ( ( A ) ) = not ( ( True ) ) = not True = False. So the answer is False.
    
    Q: True and False and not True and True is
    A: Let's think step by step.
    Remember that (i) expressions inside brackets are always evaluated first and that (ii) the order of operations from highest priority to lowest priority is "not", "and", "or", respectively.
    We first simplify this expression "Z" as follows: "Z = True and False and not True and True = A and B" where "A = True and False" and "B = not True and True".
    Let's evaluate A: A = True and False = False.
    Let's evaluate B: B = not True and True = not (True and True) = not (True) = False.
    Plugging in A and B, we get: Z = A and B = False and False = False. So the answer is False.
  • 模型预测

Generate

代码语言：javascript

复制

    # Demo -- model_genereate 直接生成response
    
    def model_generate(query: str, infer_cfg: dict) -> str:
    
        inputs = tokenizer.encode(query)
        input_ids = inputs['input_ids']
        ...
    
        # Process infer cfg (do_sample, top_k, top_p, temperature, special_tokens ...)
        generation_config = process_cfg(args)
        ...
      
        # Run inference
        output_ids = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=generation_config,
        )
    
        response = tokenizer.decode(output_ids, **decode_kwargs)
        return response

Likelihood

代码语言：javascript

复制

#Demo -- model_call方式计算loglikelihood
    
    # context + continuation 拼接，示例：
    # Question： 法国的首都是哪里？
    # Choices： A.北京  B.巴黎  C.汉堡  D.纽约
      # pair-1: (ctx, cont) = (法国的首都是哪里？，A.北京)
      # pair-2: (ctx, cont) = (法国的首都是哪里？，B.巴黎)
      # pair-3: (ctx, cont) = (法国的首都是哪里？，C.汉堡)
      # pair-4: (ctx, cont) = (法国的首都是哪里？，D.纽约)
    # Logits --> 
    
    def loglikelihood(self, inputs: list, infer_cfg: dict = None) -> list:
        # To predict one doc
        doc_ele_pred = []
        for ctx, continuation in inputs:
    
            # ctx_enc shape: [context_tok_len]  cont_enc shape: [continuation_tok_len]
            ctx_enc, cont_enc = self._encode_pair(ctx, continuation)
    
            inputs_tokens = torch.tensor(
                (ctx_enc.tolist() + cont_enc.tolist())[-(self.max_length + 1):][:-1],
                dtype=torch.long,
                device=self.model.device).unsqueeze(0)
    
            logits = self.model(inputs_tokens)[0]
            logits = torch.nn.functional.log_softmax(logits.float(), dim=-1)
    
            logits = logits[:, -len(cont_enc):, :]
            cont_enc = cont_enc.unsqueeze(0).unsqueeze(-1)
            logits = torch.gather(logits.cpu(), 2, cont_enc.cpu()).squeeze(-1)
    
            choice_score = float(logits.sum())
            doc_ele_pred.append(choice_score)
    
        # e.g. [-2.3, 1.1, -12.9, -9.2], length=len(choices)
        return doc_ele_pred

2.评价指标（Metrics）

  • WeightedAverageAccuracy 加权平均准确率
  • Perplexity 困惑度
  • Rouge (Recall-Oriented Understudy for Gisting Evaluation)
  • Bleu (Bilingual evaluation understudy)
  • ELO Rating System
  • PASS@K
2.1 Model-based自动评测

img

  • 中心化评测
  • 中心化评测模式下，裁判员模型只有一个，可靠性高，但容易收到裁判员模型的bias影响
  • 去中心化评测
  • 去中心化评测方式，要求模型之间做peer-examination
  • 特点是公平性好，但计算量大，且鲁棒性不高

裁判员模型

  • GPT-4、Claude、Qwen-Max等 （产品APIs）
  • PandLM、Auto-J (tuned from LLM, like LLaMA)
  • Reward models (Ranking learning)
  • Chatbot Arena -竞技场模式
  • （Battle count of each combination of models, from LMSYS）

img

  • （Fraction of Model A wins for all non-tied A vs. B battles, from LMSYS）

img

  • LLM指令攻防

    • 指令诱导 (诱导模型输出目标答案，from SuperCLUE)

    img

    • 有害指令注入 (将真实有害意图注入到prompt中, from SuperCLUE)

    img

2.2 模型性能评估

model serving performance evaluation

指标名称说明
Time测试总时间（时间单位均为秒）
Expected number of requests期望发送的请求数，和prompt文件以及期望number有关
concurrency并发数
completed完成的请求数
succeed成功请求数
failed失败请求数
qps平均qps
latency平均latency
time to first token平均首包延迟
throughputoutput tokens / seconds 平均每秒输出token数
time per output token平均生成一个token需要的时间 总output_tokens/总时间
package per request平均每个请求的包数
time per package平均每包时间
input tokens per request平均每个请求的输入token数
output tokens per request平均每个请求输出token数
2.3 问题和挑战
  1. **基准失效&**数据泄露
  • 静态数据集与快速演进的LLM能力形成GAP，导致基准失效
  • 公开的benchmark被泄露到LLM的开发PT、CPT、SFT等开发环节

解决思路： 动态数据集

img

img

  1. 裁判员模型的能力上限
  • 裁判员模型的存在明显的能力边界，很难胜任更多场景、更强模型的评测工作
  • 泛化性问题
  • LLM幻觉的诊断问题

3.LLM评估实战

LLMuses框架–轻量化、端到端的大模型自动评估框架

GitHub: https://github.com/modelscope/llmuses

框架特性

  • 预置常用的测试基准，包括：MMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval、BBH、GeneralQA等
  • 常用评估指标（metrics）的实现
  • 统一model接入，兼容多个系列模型的generate、chat接口
  • 客观题自动评估
  • 使用专家模型实现复杂任务的自动评估
  • 竞技场模式(Arena）
  • 评估报告生成与可视化
  • LLM性能评测（Performance Evaluation）

环境安装

代码语言：javascript

复制

    # 1. 代码下载
    git clone git@github.com:modelscope/llmuses.git
    
    # 2. 安装依赖
    cd llmuses/
    pip install -r requirements/requirements.txt
    pip install -e .
  1. 简单评测

代码语言：javascript

复制

  python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets ceval --outputs ./outputs/test --limit 10
  1. 带参数评测

代码语言：javascript

复制

    python llmuses/run.py --model ZhipuAI/chatglm3-6b --outputs ./outputs/test2 --model-args revision=v1.0.2,precision=torch.float16,device_map=auto --datasets arc --limit 10
  • –model-args: 模型参数，以逗号分隔，key=value形式
  • –datasets: 数据集名称，参考下文数据集列表章节
  • –mem-cache: 是否使用内存缓存，若开启，则已经跑过的数据会自动缓存，并持久化到本地磁盘
  • –limit: 每个subset最大评估数据量
  1. 竞技场模式–Single mode

Single mode，使用专家模型（GPT-4）对待测LLM进行打分

代码语言：javascript

复制

    # Example
    python llmuses/run_arena.py --c registry/config/cfg_single.yaml --dry-run
  1. 竞技场模式–Baseline mode

Baseline mode，选定baseline模型，其它待测LLM与该模型进行对比

代码语言：javascript

复制

    # Example
    python llmuses/run_arena.py --dry-run --c registry/config/cfg_pairwise_baseline.yaml
  1. 竞技场模式–Pairwise mode

Pairwise mode，待测LLM两两组合进行对弈

代码语言：javascript

复制

    python llmuses/run_arena.py -c registry/config/cfg_arena.yaml --dry-run

img

  1. 效果评测报告

按照预定格式存放数据，使用streamlit启动可视化服务

代码语言：javascript

复制

    # Usage:
    streamlit run viz.py -- --review-file llmuses/registry/data/qa_browser/battle.jsonl --category-file llmuses/registry/data/qa_browser/category_mapping.yaml
  • 报告可视化

img

img

  1. 模型性能评测（Perf Eval）

性能评测报告示例

img

img

4.大模型评估框架-llmuses

链接：https://github.com/modelscope/eval-scope

大型语言模型评估（LLMs evaluation）已成为评价和改进大模型的重要流程和手段，为了更好地支持大模型的评测，我们提出了llmuses框架，该框架主要包括以下几个部分：

  • 预置了多个常用的测试基准数据集，包括：MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval等
  • 常用评估指标（metrics）的实现
  • 统一model接入，兼容多个系列模型的generate、chat接口
  • 自动评估（evaluator）：
  • 客观题自动评估
  • 使用专家模型实现复杂任务的自动评估
  • 评估报告生成
  • 竞技场模式(Arena）
  • 可视化工具
  • 模型性能评估
  • 特点
  • 轻量化，尽量减少不必要的抽象和配置
  • 易于定制
  • 仅需实现一个类即可接入新的数据集
  • 模型可托管在ModelScope上，仅需model id即可一键发起评测
  • 支持本地模型可部署在本地
  • 评估报告可视化展现
  • 丰富的评估指标
  • model-based自动评估流程，支持多种评估模式
  • Single mode: 专家模型对单个模型打分
  • Pairwise-baseline mode: 与 baseline 模型对比
  • Pairwise (all) mode: 全部模型两两对比
4.1 环境准备

我们推荐使用conda来管理环境，并使用pip安装依赖:

  1. 创建conda环境

代码语言：javascript

复制

conda create -n eval-scope python=3.10
conda activate eval-scope
  1. 安装依赖

代码语言：javascript

复制

pip install llmuses
  • 使用源码安装
  1. 下载源码

代码语言：javascript

复制

git clone https://github.com/modelscope/eval-scope.git
  1. 安装依赖

代码语言：javascript

复制

cd eval-scope/
pip install -e .
4.2快速开始
  • 简单评估 在指定的若干数据集上评估某个模型，流程如下： 如果使用git安装，可在任意路径下执行：

代码语言：javascript

复制

python -m llmuses.run --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --limit 100

如果使用源码安装，在eval-scope路径下执行：

代码语言：javascript

复制

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets mmlu ceval --limit 10

其中，–model参数指定了模型的ModelScope model id，模型链接：ZhipuAI/chatglm3-6b

  • 带参数评估

代码语言：javascript

复制

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --model-args revision=v1.0.2,precision=torch.float16,device_map=auto --datasets mmlu ceval --use-cache true --limit 10

代码语言：javascript

复制

python llmuses/run.py --model qwen/Qwen-1_8B --generation-config do_sample=false,temperature=0.0 --datasets ceval --dataset-args '{"ceval": {"few_shot_num": 0, "few_shot_random": false}}' --limit 10

参数说明：

  • –model-args: 模型参数，以逗号分隔，key=value形式
  • –datasets: 数据集名称，支持输入多个数据集，使用空格分开，参考下文数据集列表章节
  • –use-cache: 是否使用本地缓存，默认为false;如果为true，则已经评估过的模型和数据集组合将不会再次评估，直接从本地缓存读取
  • –dataset-args: 数据集的evaluation settings，以json格式传入，key为数据集名称，value为参数，注意需要跟–datasets参数中的值一一对应
    • –few_shot_num: few-shot的数量
    • –few_shot_random: 是否随机采样few-shot数据，如果不设置，则默认为true
  • –limit: 每个subset最大评估数据量
  • –template-type: 需要手动指定该参数，使得eval-scope能够正确识别模型的类型，用来设置model generation config。

关于–template-type，具体可参考：模型类型列表 可以使用以下方式，来查看模型的template type list：

代码语言：javascript

复制

from llmuses.models.template import TemplateType
print(TemplateType.get_template_name_list())
4.3 使用本地数据集

数据集默认托管在ModelScope上，加载需要联网。如果是无网络环境，可以使用本地数据集，流程如下：

  • 下载数据集到本地

代码语言：javascript

复制

#假如当前本地工作路径为 /path/to/workdir
wget https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip
unzip data.zip

则解压后的数据集路径为：/path/to/workdir/data 目录下，该目录在后续步骤将会作为–dataset-dir参数的值传入

  • 使用本地数据集创建评估任务

代码语言：javascript

复制

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10

#参数说明
#--dataset-hub: 数据集来源，枚举值： `ModelScope`, `Local`, `HuggingFace` (TO-DO)  默认为`ModelScope`
#-dataset-dir: 当--dataset-hub为`Local`时，该参数指本地数据集路径; 如果--dataset-hub 设置为`ModelScope` or `HuggingFace`，则该参数的含义是数据集缓存路径。
  • (可选)在离线环境加载模型和评测 模型文件托管在ModelScope Hub端，需要联网加载，当需要在离线环境创建评估任务时，可参考以下步骤：

代码语言：javascript

复制

#1. 准备模型本地文件夹，文件夹结构参考chatglm3-6b，链接：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files
#例如，将模型文件夹整体下载到本地路径 /path/to/ZhipuAI/chatglm3-6b

#2. 执行离线评估任务
python llmuses/run.py --model /path/to/ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10
4.4 使用run_task函数提交评估任务
  • 配置任务

代码语言：javascript

复制

import torch
from llmuses.constants import DEFAULT_ROOT_CACHE_DIR

#示例
your_task_cfg = {
        'model_args': {'revision': None, 'precision': torch.float16, 'device_map': 'auto'},
        'generation_config': {'do_sample': False, 'repetition_penalty': 1.0, 'max_new_tokens': 512},
        'dataset_args': {},
        'dry_run': False,
        'model': 'ZhipuAI/chatglm3-6b',
        'datasets': ['arc', 'hellaswag'],
        'work_dir': DEFAULT_ROOT_CACHE_DIR,
        'outputs': DEFAULT_ROOT_CACHE_DIR,
        'mem_cache': False,
        'dataset_hub': 'ModelScope',
        'dataset_dir': DEFAULT_ROOT_CACHE_DIR,
        'stage': 'all',
        'limit': 10,
        'debug': False
    }
  • 执行任务

代码语言：javascript

复制

from llmuses.run import run_task

run_task(task_cfg=your_task_cfg)
4.4.1 竞技场模式（Arena）

竞技场模式允许多个候选模型通过两两对比(pairwise battle)的方式进行评估，并可以选择借助AI Enhanced Auto-Reviewer（AAR）自动评估流程或者人工评估的方式，最终得到评估报告，流程示例如下：

  • 环境准备

代码语言：javascript

复制

a. 数据准备，questions data格式参考：llmuses/registry/data/question.jsonl
b. 如果需要使用自动评估流程（AAR），则需要配置相关环境变量，我们以GPT-4 based auto-reviewer流程为例，需要配置以下环境变量：
> export OPENAI_API_KEY=YOUR_OPENAI_API_KEY
  • 配置文件

代码语言：javascript

复制

arena评估流程的配置文件参考： llmuses/registry/config/cfg_arena.yaml
字段说明：
    questions_file: question data的路径
    answers_gen: 候选模型预测结果生成，支持多个模型，可通过enable参数控制是否开启该模型
    reviews_gen: 评估结果生成，目前默认使用GPT-4作为Auto-reviewer，可通过enable参数控制是否开启该步骤
    elo_rating: ELO rating 算法，可通过enable参数控制是否开启该步骤，注意该步骤依赖review_file必须存在
  • 执行脚本

代码语言：javascript

复制

#Usage:
cd llmuses

#dry-run模式 (模型answer正常生成，但专家模型不会被触发，评估结果会随机生成)
python llmuses/run_arena.py -c registry/config/cfg_arena.yaml --dry-run

#执行评估流程
python llmuses/run_arena.py --c registry/config/cfg_arena.yaml
  • 结果可视化

代码语言：javascript

复制

#Usage:
streamlit run viz.py -- --review-file llmuses/registry/data/qa_browser/battle.jsonl --category-file llmuses/registry/data/qa_browser/category_mapping.yaml
4.4.2 单模型打分模式（Single mode）

这个模式下，我们只对单个模型输出做打分，不做两两对比。

  • 配置文件

代码语言：javascript

复制

评估流程的配置文件参考： llmuses/registry/config/cfg_single.yaml
字段说明：
    questions_file: question data的路径
    answers_gen: 候选模型预测结果生成，支持多个模型，可通过enable参数控制是否开启该模型
    reviews_gen: 评估结果生成，目前默认使用GPT-4作为Auto-reviewer，可通过enable参数控制是否开启该步骤
    rating_gen: rating 算法，可通过enable参数控制是否开启该步骤，注意该步骤依赖review_file必须存在
  • 执行脚本

代码语言：javascript

复制

#Example:
python llmuses/run_arena.py --c registry/config/cfg_single.yaml
4.4.3 Baseline模型对比模式（Pairwise-baseline mode）

这个模式下，我们选定 baseline 模型，其他模型与 baseline 模型做对比评分。这个模式可以方便的把新模型加入到 Leaderboard 中（只需要对新模型跟 baseline 模型跑一遍打分即可）

  • 配置文件

代码语言：javascript

复制

评估流程的配置文件参考： llmuses/registry/config/cfg_pairwise_baseline.yaml
字段说明：
    questions_file: question data的路径
    answers_gen: 候选模型预测结果生成，支持多个模型，可通过enable参数控制是否开启该模型
    reviews_gen: 评估结果生成，目前默认使用GPT-4作为Auto-reviewer，可通过enable参数控制是否开启该步骤
    rating_gen: rating 算法，可通过enable参数控制是否开启该步骤，注意该步骤依赖review_file必须存在
  • 执行脚本

代码语言：javascript

复制

#Example:
python llmuses/run_arena.py --c llmuses/registry/config/cfg_pairwise_baseline.yaml
4.5 数据集列表
DatasetNameLinkStatusNote
mmlummluActive
cevalcevalActive
gsm8kgsm8kActive
arcarcActive
hellaswaghellaswagActive
truthful_qatruthful_qaActive
competition_mathcompetition_mathActive
humanevalhumanevalActive
bbhbbhActive
raceraceActive
trivia_qatrivia_qaTo be intergrated
4.6 Leaderboard 榜单

ModelScope LLM Leaderboard大模型评测榜单旨在提供一个客观、全面的评估标准和平台，帮助研究人员和开发者了解和比较ModelScope上的模型在各种任务上的性能表现。

Leaderboard

img

4.7 实验和报告
ModelRevisionPrecisionHumanitiesSTEMSocialScienceOtherWeightedAvgTargetDelta
Baichuan2-7B-Basev1.0.2fp160.41110.38070.52330.5040.4506-
Baichuan2-7B-Chatv1.0.4fp160.44390.3740.55240.54580.4762-
chatglm2-6bv1.0.12fp160.38340.34130.47080.44450.40770.4546(CoT)-4.69%
chatglm3-6b-basev1.0.1fp160.54350.50870.72270.64710.59920.614-1.48%
internlm-chat-7bv1.0.1fp160.40050.35470.49530.47960.4297-
Llama-2-13b-msv1.0.2fp160.43710.38870.55790.54370.4778-
Llama-2-7b-msv1.0.2fp160.31460.30370.41340.38850.3509-
Qwen-14B-Chatv1.0.6bf160.53260.53970.71840.68590.6102-
Qwen-7Bv1.1.6bf160.3870.40.54030.51390.4527-
Qwen-7B-Chat-Int8v1.1.6int80.43220.42770.60880.57780.5035-
  • Target – The official claimed score of the model on the dataset
  • Delta – The difference between the WeightedAvg score and the Target score
  • Settings: (Split: test, Total num: 13985, 5-shot)
ModelRevisionPrecisionHumanitiesSTEMSocialScienceOtherWeightedAvgAvgTargetDelta
Baichuan2-7B-Basev1.0.2fp160.42950.3980.57360.53250.47810.49180.5416 (official)-4.98%
Baichuan2-7B-Chatv1.0.4fp160.43440.39370.58140.54620.48370.50290.5293 (official)-2.64%
chatglm2-6bv1.0.12fp160.39410.3760.48970.47060.42880.4442--
chatglm3-6b-basev1.0.1fp160.53560.48470.71750.62730.58570.5995--
internlm-chat-7bv1.0.1fp160.41710.39030.57720.54930.47690.4876--
Llama-2-13b-msv1.0.2fp160.4840.41330.61570.58090.52010.53270.548 (official)-1.53%
Llama-2-7b-msv1.0.2fp160.37470.33630.43720.45140.39790.40890.453 (official)-4.41%
Qwen-14B-Chatv1.0.6bf160.5740.5530.74030.6840.63130.64140.646 (official)-0.46%
Qwen-7Bv1.1.6bf160.45870.4260.60780.56290.50840.51510.567 (official)-5.2%
Qwen-7B-Chat-Int8v1.1.6int80.46970.43830.62840.59670.52710.53470.554 (official)-1.93%
4.8 性能评测工具

专注于大语言模型的压测工具，可定制化支持各种不通的数据集格式，以及不同的API协议格式。

img

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
AI小白熊
关注
  • 29
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
详谈大模型训练和推理优化技术
夏栀的博客
05-19 1万+
本文介绍大模型的训练和推理优化技术，包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。
大模型评估
东方佑
05-06 393
要评估大型语言模型（LLM）的能力，我们可以设计一系列的问题和评估标准，覆盖不同的语言理解和生成任务。
探索未来智能的阶梯：UltraEval —— 大模型能力评测框架
gitblog_00073的博客
06-05 386
探索未来智能的阶梯：UltraEval —— 大模型能力评测框架 项目地址:https://gitcode.com/OpenBMB/UltraEval 在人工智能领域，特别是自然语言处理（NLP）方向，基础模型的能力评测是推动技术进步的关键一环。为此，我们隆重推出 UltraEval —— 一款开源的大模型能力评测框架，它为开发者提供了一个轻量、易用、高效的工具，以便于评估各类大模型的性能。 项...
CodeFuseEval : 代码类大模型多任务评估基准
CodeFuse的博客
11-24 653
代码领域作为自然语言大模型的一个垂类，除去NLP通用的一些技术能力评估、模型认知评估和安全可信评估外，对编码领域自身，需针对性评估模型自身在技术能力层面的表现，如不同类型代码生成能力、上下文或计算机知识的理解能力，以及在对外服务能力层面的表现，如服务体验、稳定性、开放性等。附：编码垂类评估内容示意图如下图，针对代码生成类和理解类的2个效果截图示例（代码补全和添加注释），在这2大类下会有一些技术能力和服务能力层面的共同关注点（代码正确性、语义准确性/可读、产品交互体验、内容合规安全等），
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
一个基于 Java 的 LLM（大语言模型）应用开发框架
最新发布
06-29
一个基于 Java 的 LLM（大语言模型）应用开发框架。
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
一个基于 Python 的 LLM (大语言模型) 快速推理和服务框架，GPU利用率大幅提升
08-05
一个基于 Python 的 LLM (大语言模型) 推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。 利用了众多备受推崇的开源实现的优势，包括但不限于 FasterTransformer、TGI、 VLLM 和FlashAttention - 三进程...
大模型LLM，RAG实战.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
如何对大模型进行评估上
qiaotl的博客
12-18 4130
从理论层面介绍如何进行大模型评估
机器学习之模型评估
Gnipilnehc的博客
10-16 2011
模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。过拟合其实就是为了得到一致假设而使得假设过于地严格。使得其在训练集上的表现非常地完美，但是在训练集以外的数据集却表现不好。如上图所示，蓝线就是过拟合了，虽然它在训练集上将所有的点都放在了线上，但是如果再来一个点就会不起作用，这就是过拟合，而绿线的话也比较好地拟合了点集，但是它的泛化能力相较于蓝线来说是更好的欠拟合拟合不足、欠配。
一定要看看的大模型【评测基准】及【评测报告】
热门推荐
weixin_44077556的博客
10-31 1万+
针对于复杂任务，每个模型都要多次测试其对指示模版的适应程度。
大模型学习路线（10）——模型评测指标
qq_51175703的博客
05-17 1030
第一章节介绍了机器学习（Machine Learning, ML）和深度学习（Deep Learning，DL）领域评估指标，包含分类任务、预测任务、回归任务、常用损失值；第二章节介绍了大语言模型（LLMs）领域评测指标；第三章节介绍了多模态（MLLMs）领域评估指标；第四章节介绍了知识召回业务领域的评估指标。
如何评估大型语言模型（LLM）？
Baihai_IDP的博客
06-19 4412
编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。本文说明了为什么我们需要一个全面的大模型评估框架，并介绍了市面上这些现有的评估框架，同时指出这些框架存在的问题，最后说明如何评估大型语言模型（LLM），评估时应该考虑哪些因素。以下是译文，Enjoy!
Google DeepMind、OpenAI等联合发文：AI大模型的极端风险，如何评估？
数据派THU
06-03 124
来源：学术头条 本文约2300字，建议阅读5分钟在未来，人工智能的进一步发展可能会导致很多极端风险。目前，构建通用人工智能（AGI）系统的方法，在帮助人们更好地解决现实问题的同时，也会带来一些意外的风险。因此，在未来，人工智能的进一步发展可能会导致很多极端风险，如具有攻击性的网络能力或强大的操纵技能等等。近期，Google DeepMind 联合剑桥大学、牛津大学等高校和 OpenAI、Anthr...
大语言模型评测：我们知道什么时候该相信模型吗？
人机与认知实验室
04-14 1188
在机器学习领域，大模型的概念越来越受到关注。它们可以用于语言生成、图像识别、自然语言处理等众多应用中。然而，大模型的训练和评测也变得越来越复杂和昂贵。首先，我们需要足够的计算资源。大模型需要更多的计算资源来进行训练。我们需要足够的硬件和软件资源来支持这些计算需求。其次，我们需要更好的算法和模型架构。大模型的训练需要更高效的算法和更好的模型架构。我们需要尽可能地减少训练时间和计算成本，同时保持模型的...
模型大小评估指标
年少的勇气已经用完，剩下的就是三思而后行
05-18 1795
计算量 计算量可以说是评价模型大小最常用的指标了，很多论文在跟 baseline 进行比较时，都会把计算量作为重要的比较依据。 计算量是模型所需的计算次数，反映了模型对硬件计算单元的需求。计算量一般用 OPs (Operations)，即计算次数来表示。由于最常用的数据格式为 float32，因此也常常被写作 FLOPs (Floating Point Operations)，即浮点计算次数。 参数量 参数量是模型中的参数的总和，跟模型在磁盘中所需的空间大小直接相关。对于 CNN 来说参数主要由 Conv/
小白也能看懂 | 大模型的6个评估指标
zhishi0000的博客
05-04 2092
近年来，随着深度学习技术的飞速发展，大型神经网络模型如BERT、GPT-3等已经成为自然语言处理、计算机视觉、语音识别等领域的重要工具。这些模型之所以称为"大型"，是因为它们通常包含数十亿甚至数千亿的参数，比以往的模型要庞大得多。然而，模型的规模庞大并不总是意味着性能更好，因此我们需要一套有效的方法来评估这些大型神经网络的性能。本文将探讨为什么要评估大型神经网络模型，以及如何使用一系列关键指标来评估它们。在深度学习领域，大型神经网络模型已经成为各种应用的核心。
WSDM2024ID与Modality大模型(LLMs)通过图数据增强辅助基于内容的多模态推荐系统
11-21
WSDM2024ID与Modality大模型(LLMs)通过图数据增强辅助基于内容的多模态推荐系统

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值