can-ai-code入门学习资料 - AI编码能力自评测项目
can-ai-code 是一个用于评估 AI 模型编码能力的自评测项目。它通过让 AI 模型接受人类编写的编程面试题,来测试 AI 的实际编码水平。如果你对 AI 编码能力感兴趣,can-ai-code 是一个值得关注的开源项目。本文将介绍该项目的核心内容和相关学习资源,帮助读者快速上手这个有趣的 AI 编码评测工具。
项目简介
can-ai-code 主要包含以下几个核心内容:
- 由人类编写的编程面试题目
- 用于各种 API 和 CUDA 量化运行时的推理脚本
- 基于 Docker 的沙箱环境,用于验证 Python 和 NodeJS 代码
- 评估提示技术和采样参数对 LLM 编码性能的影响
- 评估量化对 LLM 编码性能的影响
项目地址: https://github.com/the-crypt-keeper/can-ai-code
测试套件
can-ai-code 目前包含两个主要的测试套件:
-
junior-v2
: 包含 12 个多语言(Python, JavaScript)测试,用于评估小型 LLM 的编码性能。 -
humaneval
: 包含 164 个仅 Python 的测试,由 OpenAI 创建。can-ai-code 提供了准备和执行 humaneval 面试的模板脚本。
项目结构
can-ai-code 的仓库结构如下:
junior-v2/*.yaml
: 初级程序员面试题(稳定版)senior/*.yaml
: 高级程序员面试题(开发中)prompts/*.txt
: 各种模型的 LLM 提示模板prepare.py
: 将模板应用于问题,生成适合面试的特定语言和模型的提示params/*.json
: 采样超参数集(所有面试脚本都使用)interview-*.py
: 面试脚本evaluate.py
: 在沙箱中运行生成的代码并对每个答案进行评分app.py
: 用于探索结果的 Streamlit webappcompare.py
: 执行评估之间的比较,可选择调用 LLM 进行分析compare-app.py
: 用于探索比较的 Streamlit webapp
如何使用
-
克隆项目仓库:
git clone https://github.com/the-crypt-keeper/can-ai-code.git
-
安装依赖:
pip install -r requirements.txt
-
准备面试问题:
python prepare.py
-
运行面试:
python interview-<runtime>.py
-
评估结果:
python evaluate.py
-
查看结果:
streamlit run app.py
相关资源
-
项目 GitHub 仓库: https://github.com/the-crypt-keeper/can-ai-code
-
排行榜: https://huggingface.co/spaces/mike-ravkine/can-ai-code-results
-
比较结果: https://huggingface.co/spaces/mike-ravkine/can-ai-code-compare
-
HumanEval 基准测试结果: https://github.com/my-other-github-account/llm-humaneval-benchmarks
通过 can-ai-code 项目,我们可以深入了解 AI 模型的编码能力,探索不同提示技术和参数设置对 AI 编码性能的影响。无论你是 AI 研究者还是对 AI 编码感兴趣的开发者,can-ai-code 都是一个值得尝试和学习的优秀开源项目。
希望这份入门指南能帮助你快速上手 can-ai-code 项目。如果你在使用过程中遇到任何问题,欢迎查阅项目文档或在 GitHub 仓库中提出 issue。祝你探索 AI 编码的旅程愉快!
文章链接:www.dongaigc.com/a/can-ai-code-intro-ai-evaluation
https://www.dongaigc.com/a/can-ai-code-intro-ai-evaluation