LLM常用基准测试

最新推荐文章于 2025-02-15 23:36:04 发布
最新推荐文章于 2025-02-15 23:36:04 发布
阅读量896 收藏 6
点赞数
文章标签： LLM评估指标
原文链接：https://zhuanlan.zhihu.com/p/694391642
版权

2024年4日24日，微软重磅发布Phi3，从基准测试上刻意与Llama3做了对比。感觉7b又吊打了Llama3的8b，甚至3.8b都比Llama3 8b好。这几天开源模型扎堆发布，业界卷的飞起。Meta开源Llama3，微软开源Phi3，阿里在Llama3之后开源Qwen 110B，也只能弱弱的说声"Not confident to say anything like competitive to Llama 3 70B but I hope you will find it at least not too bad. "。

Benchmark介绍

从微软的论文看来，基准测试一大堆，这些基准测试都是什么意思，今天简单给大家科普一下。

以上图从上往下的顺序介绍基准。

注：信息来源于以下几个网站
paperwithcode.com
huggingface.co
arXiv
mistral
http://qwenlm.github.io
Meta
Anthropic

MMLU

以类似评估人类的方式，通过零样本和少样本评估模型预训练期间获得的知识。涵盖了STEM、人文科学、社会科学等57个学科，同时测试世界知识和解决问题的能力。主题涵盖如数学和历史等传统领域，到如法律和伦理等更专业的领域。MMLU测试的目的是全面评估一个语言模型在处理多种类型语言理解问题时的能力。

HellaSwag

HellaSwag是一个用于评估具有挑战的常识性自然语言推理（NLI）数据集，这些问题对人类来说非常简单(>95%的准确率)，但对大语言模型来说很有挑战。这个数据集提出了一个场景描述，然后提供几个可能的结局，被测模型需选择最合适的结局。

ANLI

对抗性自然语言推理(ANLI)是一个新的大规模自然语言推理（NLI）基准数据集，旨在评估语言模型在对抗性环境下进行文本理解和推理的能力。

GSM-8K

GSM-8K（Grade School Math 8K）是一个用于评估和训练人工智能模型在解决基础数学问题方面能力的数据集。这个数据集包括约8000个来自小学和中学级别的数学问题，覆盖了算术、代数、几何、统计等多种数学领域。这些问题旨在模拟学生在实际学习环境中可能遇到的数学题目，其复杂度和类型能够全面测试模型的数学理解和解题能力。

MedQA

基于美国医学执照考试(USMLE)的医学问答数据集。数据集是从专业医学委员会考试中收集的。涵盖了三种语言:英语、简体中文和繁体中文，分别包含了12723、34251和14123个问题。用于评估模型在理解医学领域知识和处理医学相关问题的能力。

AGIEval

AGIEval是一个以人为中心的基准，专门用于评估模型在与人类认知和解决问题相关的任务中的能力。该基准来自20个官方、公共和高标准的入学和资格考试，例如普通大学入学考试(例如高考和美国SAT)、法学院入学考试、数学竞赛、律师资格考试和公务员考试。

TriviaQA

TriviaQA是一个真实基于文本的问答数据集，包括从维基百科和网络上收集的662K文档中的95万问题-答案对。此数据集主要测试模型对广泛知识的掌握程度。

Arc-C/Arc-E

AI2的推理挑战(ARC)数据集是一个多项选择题回答数据集，包含了三年级到九年级的科学考试问题。数据集分为两个部分:简单部分（Arc-E）和难点部分（Arc-C），用于测试模型在科学推理方面能力的问题。ARC包含1430万KB的非结构化文本段落。

PIQA

PIQA（Physical Interaction QA）是一个物理互动问答数据集，用于测试模型在预测物理世界中物体如何互动的能力。问题通常基于日常物理情境。

SociQA

社会互动问答(Social Interaction QA，SIQA)是测试社会常识智力的问答基准。SIQA专注于推理人的行动及其社会影响。SIQA中的行为跨越了广泛的社会情境，答案候选既包含人工策划的答案，也包含对抗性过滤的机器生成的候选答案。Social IQa包含超过37,000个QA对，用于评估模型对日常事件和情况的社会含义的推理能力。

BigBench-Hard

BIG-Bench Hard (BBH)是BIG-Bench的一个子集，BIG-Bench是语言模型的一个多样化评估套件。BBH专注于一套来自BIG-Bench的23项具有挑战性的任务，用于评估语言模型在处理特别困难或复杂任务时的能力的数据集。

WinoGrande

WinoGrande是一个包含44k个问题的大规模数据集。受WSC数据库设计的启发，但经过调整以提高数据集的规模和难度。用于评估AI模型在解决含糊或不明确的参考问题上的能力。

OpenBookQA

OpenBookQA是一个开放式问答数据集，用于评估人类对主题的理解。与问题相关的公开资料是1329个初级科学事实信息。用于测试模型利用给定的科学事实来解答相关问题的能力。

BoolQ

BoolQ 是一个布尔（是/否）问答数据集，包含自然语言问题，答案为简单的“是”或“否”。问题和答案都基于真实世界发生过的内容。

CommonSenseQA

CommonsenseQA是一个用于常识问答任务的数据集。数据集由12247个问题组成，每个问题有5个选择。用于评估模型在处理需要广泛常识的问题上的表现。

TruthfulQA

TruthfulQA是用于衡量语言模型在生成问题答案时是否真实的基准。有38个类别的817个问题，包括卫生、法律、金融和政治。作者精心设计了问题，如果有不真实的认知或误解则可能会回答错误。

  • 提出时间：2022
  • 论文链接：TruthfulQA: Measuring How Models Mimic Human Falsehoods
  • 数据集链接：truthful_qa
  • 当前最高分-True（仅通用模型）：88.6
  • 最高分模型-True：Vicuna 7B + Inference Time Intervention(ITI)
  • 当前最高分-MC1 (Single-true)（仅通用模型）：59
  • 最高分模型-MC1 (Single-true)：GPT-4 初始版本

HumanEval

HumanEval 是一个代码生成数据集，用于评估模型生成编程代码的能力，特别是在解决编程问题和实现特定功能方面。由164个原始编程问题组成，评估语言理解、算法和简单的数学，有一些可与简单的软件面试问题相媲美。

MBPP

MBPP由大约1000个众包Python编程问题组成，可由入门级程序员解决，涵盖编程基础知识、标准库功能等。每个问题由一个任务描述、代码解决方案和3个自动化测试用例组成。用于测试模型的自动代码生成能力。

GPQA

GPQA是一个由448个多项选择题组成的具有挑战性的数据集，由生物、物理和化学领域专家撰写。确保问题高质量和高难度：在相应领域拥有或正在攻读博士学位的专家能达到65%的准确率(在考虑专家回顾发现的明确错误时，准确率为74%)。而高技能的非专家验证者，在平均花费30分钟，且不受限制地访问网络(即问题是“谷歌保证”)，也仅能达到34%的准确率。

MT Bench

该数据集包含3.3K个专家级成对人类对6个模型在响应80个MT-bench问题时产生的模型响应的偏好。这6种模型是GPT-4、GPT-3.5、Claud-v1、 Vicuna-13B、 Alpaca-13B, 和LLaMa-13b。标注者大多是在每个问题的主题领域具有专业知识的研究生。

汇总

Benchmark名提出时间论文链接数据集链接当前最高分最高分模型（仅通用LLM）
MMLU2020https://arxiv.org/pdf/2009.03300v3.pdfhttps://huggingface.co/datasets/cais/mmlu90Gemini Ultra（CoT + SC）
HellaSwag2019https://arxiv.org/pdf/1905.07830v1.pdfhttps://huggingface.co/datasets/Rowan/hellaswag
https://rowanzellers.com/hellaswag/		95.3GPT-4 初始版本（10-shot）
ANLI2020https://arxiv.org/pdf/1910.14599v2.pdfhttps://huggingface.co/datasets/facebook/anli74.8T5-3B
GSM-8K2021https://arxiv.org/pdf/2110.14168v2.pdfhttps://huggingface.co/datasets/gsm8k97GPT-4 Code Interpreter（0-shot）
MedQA2023https://arxiv.org/pdf/2311.16452v1.pdfhttps://huggingface.co/datasets/bigbio/med_qa90.2GPT-4（Medprompt）
AGIEval2023https://arxiv.org/pdf/2304.06364.pdfhttps://github.com/ruixiangcui/AGIEval49.93Orca 2-13B
TriviaQA2017https://arxiv.org/pdf/1705.03551v2.pdfhttps://huggingface.co/datasets/mandarjoshi/trivia_qa
https://nlp.cs.washington.edu/triviaqa/		87.5Claude 2（few-shot, k=5）
Arc-C2018https://arxiv.org/pdf/1803.05457.pdfhttps://huggingface.co/datasets/allenai/ai2_arc96.4GPT-4 初始版本（few-shot, k=25）
Arc-E95.2ST-MoE-32B 269B（fine-tuned）
PIQA2019https://arxiv.org/pdf/1911.11641.pdfhttps://huggingface.co/datasets/piqa90.1Unicorn 11B（fine-tuned）
SociQA2019https://arxiv.org/pdf/1904.09728.pdfhttps://huggingface.co/datasets/social_i_qa83.2Unicorn 11B（fine-tuned）
BigBench-Hard2022https://arxiv.org/pdf/2210.09261.pdfhttps://huggingface.co/datasets/maveriq/bigbenchhard
https://github.com/suzgunmirac/big-bench-hard		78.4Flan-PaLM 540B（3-shot, fine-tuned, CoT + SC）
WinoGrande2019https://arxiv.org/pdf/1907.10641.pdfhttps://huggingface.co/datasets/winogrande96.1ST-MoE-32B 269B（fine-tuned）
OpenBookQA2018https://arxiv.org/pdf/1809.02789v1.pdfhttps://huggingface.co/datasets/allenai/openbookqa95.9GPT-4 + knowledge base
BoolQ2019https://arxiv.org/pdf/1905.10044.pdfhttps://huggingface.co/datasets/google/boolq92.4ST-MoE-32B 269B（fine-tuned）
CommonSenseQA2018https://arxiv.org/pdf/1811.00937.pdfhttps://huggingface.co/datasets/tau/commonsense_qa90.4PaLM 2（few-shot, CoT + SC）
TruthfulQA2022https://arxiv.org/pdf/2109.07958.pdfhttps://huggingface.co/datasets/truthful_qatrue: 88.6
MC1: 59		true: Vicuna 7B + Inference Time Intervention(ITI)
MC1: GPT-4 初始版本
HumanEval2021https://arxiv.org/pdf/2107.03374v2.pdfhttps://huggingface.co/datasets/openai_humaneval84.9Claude 3 Opus（0-shot）
MBPP2021https://arxiv.org/pdf/2108.07732v1.pdfhttps://huggingface.co/datasets/mbpp86.4Claude 3 Opus
GPQA2023https://arxiv.org/pdf/2311.12022v1.pdfhttps://huggingface.co/datasets/Idavidrein/gpqa50.4Claude 3 Opus
MT Bench2023https://arxiv.org/pdf/2311.12022v1.pdfhttps://github.com/lm-sys/fastchat9.32GPT-4-1106-preview

常用Benchmark

主流LLM测试用Benchmark

GPT-4 Technical Report采用：

  • MMLU
  • HellaSwag
  • ARC
  • WinoGrande
  • HumanEval
  • DROP
  • GSM-8k

The Claude 3 Model Family: Opus, Sonnet, Haiku采用：

  • MMLU
  • MATH
  • GSM-8K
  • HumanEval
  • GPQA(Diamond)
  • MGSM
  • DROP
  • BigBench-Hard
  • ARC-C
  • HellaSwag
  • WinoGrande
  • RACE-H
  • APPS
  • MBPP

Introducing Meta Llama 3: The most capable openly available LLM to date采用：

  • MMLU
  • AGIEval English
  • GPQA
  • HumanEval
  • GSM-8K
  • MATH
  • DROP
  • ARC-C
  • BigBench-Hard

Hugging Face Leaderboard采用：

  • ARC
  • HellaSwag
  • MMLU
  • TruthfulQA
  • WinoGrande
  • GSM-8K

Mixtral of experts - A high quality Sparse Mixture-of-Experts.采用：

  • MMLU
  • HellaSwag
  • WinoGrande
  • PIQA
  • ARC
  • NQ
  • TriviaQA
  • HumanEval
  • MBPP
  • MATH
  • GSM8K

Introducing Qwen1.5采用：

  • MMLU
  • C-Eval
  • GSM-8K
  • MATH
  • HumanEval
  • MBPP
  • BBH
  • CMMLU

常用Benchmark统计

针对上面主流的一些LLM公开报告里的Benchmark统计，可得如下图，常用的Benchmark得票排名为如下。

Benchmark得票
GSM-8K7
MMLU7
ARC6
BigBench-Hard6
HumanEval6
HellaSwag5
WinoGrande5
MATH4
MBPP4

其中，GSM-8K和MMLU是必测项，ARC、BigBench-Hard、HumanEval基本都测。

转自：https://zhuanlan.zhihu.com/p/694391642

顺其自然~
关注
LLM：软件测试的颠覆性力量
AI天才研究院
05-02 704
在当今快速发展的软件行业中，测试一直是确保产品质量的关键环节。随着人工智能技术的飞速进步，特别是大语言模型（Large Language Models，简称LLM）的出现，软件测试领域正经历着前所未有的变革。LLM凭借其强大的自然语言处理能力和广泛的知识储备，正在重塑我们对软件测试的认知和实践方式。本文将深入探讨LLM如何revolutionize软件测试领域，从理论基础到实际应用，全方位剖析这一颠覆性技术带来的机遇与挑战。
AI测试入门：理解 LLM 的基准测试（Benchmark）
blues_C的博客
10-11 898
LLM 的基准测试是一种评估 LLM 的标准化方法，通过使用预定义的数据集、任务和评估指标，对LLM 在特定任务上的表现进行量化评估，比较不同模型之间的差异。基准测试可以帮助研究人员和开发者了解不同AI模型在特定任务上的表现，以便选择最合适的AI模型。AI模型基准测试是AI领域研究和开发中不可或缺的一部分。它不仅有助于评估和比较不同模型的性能，还能促进模型的优化和AI技术的进步。
浅谈如何进行LLM应用的测试
stingfire的博客
04-14 1078
传统软件应用的输出会遵循程序员编写的代码逻辑，对确定的输入能生成与之对应的确定输出。然而这个规律在基于LLM的应用中却不那么成立，当我们输入提示给到LLM应用时，它结合上下文提示语及概率参数设置，最终输出就并不是那么可预知的。而且从技术上看LLM应用的正常输出也未必就是准确或者合适的。对于这种非结构化、更多关注用户主观感受的产品，它们的质量如何度量呢？
GPQA （Graduate-Level Google-Proof Q&A Benchmark） 数据集
No trade is free, but my contents are.
02-15 1410
它提醒我们：在追求技术突破的同时，如何确保AI始终服务于人类的知识探索，仍是亟待解决的挑战。正如论文作者所言，只有当监督协议能够驾驭“超越人类的AI”时，我们才能真正释放其推动科学进步的潜力。当AI能力超越人类时，如何确保其输出的真实性？GPQA通过提供接近人类知识边界的难题，帮助研究者设计新的监督协议，例如让非专家通过AI辅助验证答案。（Graduate-Level Google-Proof Q&A Benchmark）的基准测试，旨在通过一系列“防谷歌”的难题，推动AI与人类协作的监督方法研究。
大型语言模型基准测试(LLM Benchmarks)：理解语言模型性能
qianggezhishen的专栏
08-06 3434
这些基准测试为评估LLM在编程领域的能力提供了严格的标准，帮助我们了解这些模型在生成可执行代码方面的真实水平。此外，人类专家的评估也是不可或缺的，尤其是在评估模型的创造力、连贯性等难以量化的细微差别时。通过结合定量的指标和定性的人类评估，基准测试能够提供全面的性能评估，帮助我们更好地理解和优化LLM。通过这些测试，我们可以更深入地了解这些模型的能力和局限性。在本文中，我们将探讨LLM基准测试的机制，分析最常用的基准测试方法，讨论评估指标的重要性，并阐释这些基准测试如何辅助选择适合特定应用程序的合适LLM。
LLM在软件测试中的革新应用
AI从业者的专栏
06-27 1679
LLM在软件测试领域的应用具有广泛的前景和潜力。通过构建领域知识库和业务知识图谱、自动生成测试用例和测试数据、实现测试自动化和智能化、进行缺陷预测和挖掘以及实现代码精准测试等应用方向，LLM可以大大提高软件测试的效率和质量，为软件质量保障提供有力支持。然而，我们也需要注意到LLM在软件测试领域的应用还存在一些挑战和问题。例如，如何保证LLM模型的准确性和鲁棒性、如何处理多语言和跨文化的问题、如何平衡LLM模型的学习效率和效果等。
AI和软件测试结合-使用LLM将自然语言生成TestCase
梦马韶华
10-20 3233
结合人工智能，将自然语言自动转化为通用的功能用例、接口用例、代码单元测试用例等一系列用例，碰上这2年LLM模型大爆发，遂有自己炼一个用例生成的专用模型的想法
LLM 基准测试的深入指南
weixin_41446370的博客
06-01 1227
LLM 基准测试是一种标准化的性能测试，用于评估 AI 语言模型的各种功能。基准测试通常由数据集、问题或任务集合以及评分机制组成。在经过基准测试评估后，模型通常会获得 0 到 100 的分数。基准对组织（即产品经理和开发人员）以及用户很有价值，因为它们提供了 LLM 性能的客观指示。提供一个通用的、标准化的评估集合来衡量 LLM，可以更轻松地将一个模型与另一个模型进行比较，并最终为您提议的用例选择最佳模型。
长文本处理能力评测：测试LLM的上下文理解
AI天才研究院
02-06 787
长文本处理能力评测：测试LLM的上下文理解 关键词 长文本处理 上下文理解 大型语言模型（LLM） 评测方法 算法原理 系统架构 项目实战
LLM单智能体系统开发工具：TensorFlow
AI天才研究院
05-02 312
LLM单智能体系统开发工具：TensorFlow 1. 背景介绍 1.1 人工智能的兴起 人工智能(Artificial Intelligence, AI)是当代科技发展的前沿领域,近年来受到了前所未有的关注和投资。随着计算
知识图谱扩展：测试LLM自主学习和知识积累的能力
AI天才研究院
01-31 845
知识图谱扩展：测试LLM自主学习和知识积累的能力 关键词 知识图谱 语言模型（LLM） 自主学习 知识积累 测试方法 摘要 本文旨在探
GPQA数据集分享
yinizhilianlove的博客
03-07 2500
该数据集的问题极其难解，即便是在该领域已取得或正在攻读博士学位的专家，正确率也只有65%。而对同等专业背景但不同学科的非专家来说，正确率仅为34%。该数据集难度巨大，现有AI模型如GPT-4在该数据集上的正确率也仅为39%。GPQA数据集的设计考虑到了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。尽管AI系统在许多任务上表现出色，但在需要大量专业知识和推理能力的任务上仍然存在局限性。编辑: ShuYini。
【AI大模型评测】基准测试
AI_Gump的博客
04-28 4068
【多模态LLM】MMMU：面向专家通用人工智能的大规模跨学科多模态理解和推理基准 - 知乎 (zhihu.com)精心收集了来自大学考试、测验和教科书的11.5K个多模态问题跨越艺术与设计、商业、科学、健康医学、人文社会科学、技术工程等30个学科和183个子领域包含30种异构的图像类型，如图表、图示、地图、表格、乐谱和化学结构式关注特定领域知识的高级感知和推理MMMU基准对现有大语言模型是一个巨大的挑战:#GPT4V的准确率只有56%，显示了言语模型进一步发展的广阔前景。
GPQA 数据集
百态老人的博客
11-28 1717
GPQA（Graduate-Level Google-Proof Q&A Benchmark）是一个用于评估高级问答系统的基准数据集。该数据集由纽约大学的研究者提出，包含生物学、物理学和化学等多个学科领域共 448 个问题。GPQA 数据集的设计考虑了专家与非专家之间的知识差距。通过让专家编写问题并验证答案的客观性，同时让非专家尝试解决问题，可以确保数据集的问题对于非专家来说是具有挑战性的。即便是在该领域已取得或正在攻读博士学位的专家，在 GPQA 上的正确率也只有 65%。
GPQA：研究生级别的Google-Proof问答基准
gitblog_00150的博客
10-11 2546
GPQA：研究生级别的Google-Proof问答基准 项目地址:https://gitcode.com/gh_mirrors/gp/gpqa 项目介绍 GPQA（Graduate-Level Google-Proof Q&A Benchmark）是一个专为研究生级别设计的问答基准数据集，旨在评估和提升自然语言处理模型在复杂问题上的表现。该数据集由一系列精心设计的问答对组成，涵盖了广泛的知...
AI基准测评（下）：视频生成、代码能力、逻辑推理，AI是否已经超越人类？
金融机器智能社区
07-03 1334
通过探讨“AI是否超越了人类”这个话题，可以更清晰地了解到哪些能力是AI具备的、哪些是不具备的。无论是算法岗、还是非算法岗人员，通过深入了解各领域各任务下的基准数据集以及 AI 在这些数据集下的具体表现，或许能帮大家为各自所处业务场景找到一些参考或灵感。如果你是应用算法工程师，也许可以从中了解各任务场景的SOTA算法是什么水平。如果你是平台开发工程师，也许可以从中了解到有哪些AI功能可以为你所集成。如果你是产品或架构师，也许能对新一代产品或架构设计产生智能化的新灵感。如果你是运维或运营岗。
微软提出AdaLM，用于开发小型、快速且有效的领域预训练语言模型
Paper weekly
01-07 764
©作者 |常馨学校 |北京邮电大学硕士生研究方向 |NLP、信息检索论文标题：Adapt-and-Distill: Developing Small, Fast and Effect...
自然语言处理的常识性推理【p1什么是常识】
Mio_97的博客
03-23 450
最近发现一篇好文章，可以很好的了解Commonsense Reasoning。
LLM常用模型文件
最新发布
03-15
### 常见的大语言模型（LLM）及其文件下载与格式 大语言模型（LLM）通常由研究机构或公司发布，这些模型的权重文件可能以不同的格式提供给开发者使用。以下是常见的几种模型以及它们的文件格式和获取方式： #### 1. **Hugging Face 的预训练模型** Hugging Face 是目前最流行的开源模型库之一，提供了大量经过预训练的语言模型。其模型文件通常是 `.bin` 或 `.json` 格式的权重文件，并附带配置文件 `config.json` 和分词器文件 `tokenizer.json` 或 `vocab.txt`。 - 权重文件：`.bin` 文件保存的是 PyTorch 模型的张量数据[^3]。 - 配置文件：`config.json` 定义了模型的具体结构参数，如层数、隐藏单元大小等。 - 分词器文件：定义如何将文本转换为 token 序列。 可以通过 Hugging Face 提供的命令行工具轻松下载所需模型： ```bash transformers-cli download bert-base-uncased ``` #### 2. **Meta 的 Llama 系列模型** Llama 系列是由 Meta 开发的一系列开源大语言模型。其模型文件通常是以二进制格式存储的权重文件，扩展名为 `.pth` 或者 `.safetensors`。 - 权重文件：`.safetensors` 是一种更安全的替代方案，相比传统的 `.pt` 或 `.pth` 更加高效且不易损坏[^4]。 - 访问地址：可以在 Meta 的官方 GitHub 页面找到相关资源链接并下载对应版本的模型。 #### 3. **阿里巴巴通义千问** 通义千问作为阿里云推出的一款高性能中文大模型，在实际应用中有广泛需求。虽然部分闭源版本无法直接获得原始权重文件，但对于开放的部分变体仍可通过指定接口请求访问权限后下载相应压缩包形式的离线安装包。 - 文件组成：主要包括序列化的神经网络参数以及其他辅助元信息文档。 #### 4. **百度文心一言** 类似于其他厂商的产品策略，百度也推出了自己的国产化解决方案——文心一言。它同样具备多种规格尺寸可供选择适配不同场景下的计算能力要求。对于科研教育用途而言，则有机会申请试用资格从而合法合规地取得必要的技术资料包括但不限于模型镜像档案等等。 --- ### 数据集准备注意事项 无论哪种类型的 LLM ，如果计划自行微调(Supervised Fine-Tuning)，那么还需要注意构建合适的数据集。具体来说应该遵循如下原则: - 输入输出对齐清晰明了； - 考虑到领域特定性调整样本分布比例使之偏向目标应用场景高频词汇短语组合模式； - 合理分配训练/验证/测试三个子集的比例关系以便于后续效果评测分析工作顺利开展 。 上述过程涉及到诸多细节操作技巧均已在先前提及的相关参考资料有所涉及说明清楚明白无误之处不再赘述重复啰嗦累赘多余废话连篇冗长乏味至极点为止结束完毕谢幕退场bye-bye啦哈喽再见咯👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋🏽👋🏿👋🏻👋ponde>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值