u013250861的博客

按“大模型（LLM）场景”来把 **红队测试（Red Teaming）**讲清楚：它是什么、为什么做、测什么、怎么做、产出什么、常见坑与最佳实践。

C-Eval 是一个全面的中文基础模型评估套件。它包含了13948个多项选择题，涵盖了52个不同的学科和四个难度级别，如下所示。中查看我们的数据集示例，或查看我们的。

LLM-公共基准评估(Public Benchmark Evaluation)-代码(Code)：CRUXEval-O

LLM-公共基准评估(Public Benchmark Evaluation)-代码(Code)：CRUXEval-I

LLM-公共基准评估(Public Benchmark Evaluation)-开放式对话基准：AlignBench。

LLM-公共基准评估(Public Benchmark Evaluation):AlpacaEval 2.0。

LLM-公共基准评估(Public Benchmark Evaluation):MT-Bench。

LLM-公共基准评估(Public Benchmark Evaluation)-：LiveCodeBench。

LLM-公共基准评估(Public Benchmark Evaluation)-指令跟随(instruction-following)：IFEval。

LLM-公共基准评估(Public Benchmark Evaluation)-标准化考试(Standardized exams)：AGIEval。

LLM-公共基准评估(Public Benchmark Evaluation)-语言建模(Language modeling)：CCPM。

LLM-公共基准评估(Public Benchmark Evaluation)-数学(Math)：CMath。

LLM-公共基准评估(Public Benchmark Evaluation)-中文理解和文化(Language modeling)：Chinese understanding and culture。

LLM-公共基准评估(Public Benchmark Evaluation)-数学(Math)：GSM8K。

LLM-公共基准评估(Public Benchmark Evaluation)-代码(Code)：HumanEval。

LLM-公共基准评估(Public Benchmark Evaluation)-数学(Math)：MATH。

LLM-公共基准评估(Public Benchmark Evaluation)-代码(Code)：MBPP。

LLM-公共基准评估(Public Benchmark Evaluation)-语言建模(Language modeling)：Pile。

LLM-公共基准评估(Public Benchmark Evaluation)-指代消解(Reference disambiguation)：CLUEWSC。

LLM-公共基准评估(Public Benchmark Evaluation)-指代消解(Reference disambiguation)：WinoGrande

LLM-公共基准评估(Public Benchmark Evaluation)-阅读理解(Reading comprehension)：C3。

LLM-公共基准评估(Public Benchmark Evaluation)-阅读理解(Reading comprehension)：DROP。

LLM-公共基准评估(Public Benchmark Evaluation)-阅读理解(Reading comprehension)：RACE。

公共基准评估(Public Benchmark Evaluation)-闭卷问答(Closed-book question answering)：NaturalQuestions。

公共基准评估(Public Benchmark Evaluation)-闭卷问答(Closed-book question answering)：TriviaQA。

公共基准评估(Public Benchmark Evaluation)-语言理解和推理(Language understanding and reasoning)：BBH（BigBench Hard）

公共基准评估(Public Benchmark Evaluation)-语言理解和推理(Language understanding and reasoning)：OpenBookQA。

公共基准评估(Public Benchmark Evaluation)-语言理解和推理(Language understanding and reasoning)：ARC。

公共基准评估(Public Benchmark Evaluation)-语言理解和推理(Language understanding and reasoning)：PIQA。

公共基准评估(Public Benchmark Evaluation)-语言理解和推理(Language understanding and reasoning)：HellaSwag。

公共基准评估(Public Benchmark Evaluation)-多学科选择题(Multi-subject multiple-choice)： CMMLU。

公共基准评估(Public Benchmark Evaluation)-多学科选择题(Multi-subject multiple-choice)：C-Eval

公共基准评估(Public Benchmark Evaluation)-多学科选择题(Multi-subject multiple-choice)：MMLU。

ARC

AGIEval

ptr2 = 引用栈的P位置上，8个字节。ptr2 = G 把G复制到。

Qualcomm AI Engine Direct SDK，高通新的AI模型推理框架，又名QNN，为AI开发提供统一API的底层框架。通过这个SDK，可以在高通的 CPU/GPU和HTP上对AI模型进行性能加速。2.Qualcomm AI Engine Direct SDK的公开英文文档。1.Qualcomm AI Engine Direct SDK的下载和安装。

DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。

当然，这篇随笔并不只是上面这篇开山之作（NIPS 2018）的阅读笔记，而是融合了我所需要的NTK相关的基本知识。某种意义上写这篇博客有点“不务正业”了，因为和目前想做的内容没有直接相关。之所以决定好好记录一下NTK是因为最近看到的几篇理论文章在推导时都应用了NTK的假设和一部分内容，并且认真了解网络动力学和优化相关的理论更利于随后工作的开展。反正学到就是赚到。

辅助理解案例：2、transformers/generation/configuation_utils.py3、transformers/generation/utils.py/GenerationMixin参考资料：transformers中的generate函数解读以beam search为例，详解transformers中generate方法（上）使用预训练模型自动续写文本的四种方法