【论文】智源CodeGeeX + HumanEval评测集

已于 2024-03-02 20:54:00 修改
阅读量1.1k 收藏 27
点赞数 26
文章标签： python 人工智能 自然语言处理
于 2024-03-02 20:52:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hqc87v5/article/details/135830419
版权

原文arxiv链接

CodeGeeX-github项目链接

CodeGeeX2-Github项目链接（基于ChatGLM2）

目录

CodeGeeX3 2024/1月发布【增加RAG】

HumanEvalX评测

重写代码时的步骤

任务

代码生成

代码翻译

评测

pass@k

k分配的多语言衡量

pair语言 翻译在观察翻译能力时，发现A到B和B到A之间呈现负相关

MBPP

XLCoST评测代码翻译任务

CodeGeeX模型

架构

TOP Query Layer

预训练设置

训练语料

CodeGeeX3 2024/1月发布【增加RAG】

这篇论文作为了解代码大模型的入门论文非常适合，介绍了现有的评测流程和训练方法。

HumanEvalX评测

HumanEval是CodeX提出来的的，但是只包含了python的手写问题，这里他们团队对164个问题纯手写的给出了在5种语言【python、C++、Java、Javascirpt、Go、python】上的结果，得到了164x5=820个 question-solution pair，每一个pair都包含以下部分：

以HumanEval - X中的代码生成和翻译任务为例，分别用红色、绿色、蓝色和紫色标记声明、文档、解决方案和测试用例。生成器使用声明和docstring作为输入来生成解。翻译使用两种语言的声明和源语言的解决方案作为输入，生成目标语言( docstring不用于防止模型直接求解问题)的解决方案。

重写代码时的步骤

  1. 不同的语言有不同的命名风格，CamelCase：java，snake_case：python
  2. docstring的注释符是不同的
  3. test case需要细化，而不是强迫程序返回不同的结果，e.g 整数转化成二进制，python会在字符串之前加上"0b"，但是java不会
  4. 对于rounding函数，python的表现会不同

任务

代码生成

输入：declaration和docstrings，输出：函数的实现

最低0.47元/天 解锁文章
hqc87v5
关注
  • 26
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2021智源大会报告.pdf
07-19
北京智源大会报告文档
2021北京智源大会讲义.pdf
06-07
大会讲义
CodeGeex论文阅读
Icarus_的学习笔记
07-16 1638
《CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X》论文地址：https://arxiv.org/pdf/2303.17568.pdf代码地址：https://github.com/THUDM/CodeGeCodeGeeX，是一个具有130亿个参数的多语言模型，用于代码生成，在23种编程语言的8500亿个token上进行了预训练。CodeGeeX的特点(1)CodeGe
CodeGeeX论文发表：揭秘AI辅助编程工具背后的大模型
马沛专栏
04-12 1103
HumanEval-X是第一个支持功能正确性评测的多语言、多任务的基准，包含820个人工编写的高质量代码生成题目、测试用例与参考答案，覆盖5种编程语言（Python、C++、Java、JavaScript、Go），支持代码生成与代码翻译能力的评测。紧接着，大规模语言模型，遇到了大规模开源代码数据，代码生成的进展再次得到了显著的推动。本文的主人公：CodeGeeX模型，是一个具有130亿参数的多编程语言代码生成预训练模型，完全使用国产平台和框架实现，在20多种编程语言的代码语料库历时两个月训练而成。
AI大模型探索之路-应用篇14：认识国产开源大模型GLM
最新发布
寻道码路，探索编程之路的无限可能。
04-17 3525
在人工智能的浩瀚宇宙中，开源大模型如同璀璨星辰，引领着技术创新与应用探索的方向。国际领域的OpenAI无疑闪耀着夺目的光芒，但国内厂商亦步亦趋，逐渐展露头角。今天，我们将聚焦于国内主流的大模型，探寻它们的技术脉络与应用潜力，并特别解析智谱AI研发的GLM大模型系列，见证中国在全球AI舞台上的坚实步伐。
【自然语言处理】【大模型】CodeGeeX：用于代码生成的多语言预训练模型
bqw的博客
05-07 5800
​ 代码生成的目标是：给定人类意图的描述(例如：“写一个阶乘函数”)，系统自动生成可执行程序。这个任务由来已久，解决的方案也层出不穷。近期，通过将程序看作是语言序列，利用深度学习的transformer架构进行建模，显著的改善了代码生成的质量。特别是当大规模的开源代码数据与大语言模型相结合。​ OpenAI的12B模型CodeX证明了在数十亿行公开代码上预训练的大模型的潜力。通过使用生成式预训练的方式，CodeX能够很好地解决python中的入门级编程问题。
第 6 节 OpenCompass 大模型评测
yxg2012_04_06的博客
02-18 326
OpenCompass，大模型评测
CodeGeeX：一款强大的 Copilot 之外可以免费使用的 AI 代码生成工具
weixin_JimZemlin的博客
10-24 488
总之，CodeGeeX 是一个非常强大的 AI 代码生成工具，它可以帮助程序员全面提供编程能力，不仅提高工作效率，更能提高代码质量。随着 CodeGeeX 的不断发展，它将在未来发挥越来越重要的作用。
智源虚假新闻检测比赛参赛源码+项目说明.zip
01-30
智源虚假新闻检测比赛参赛源码+项目说明.zip智源虚假新闻检测比赛参赛源码+项目说明.zip智源虚假新闻检测比赛参赛源码+项目说明.zip智源虚假新闻检测比赛参赛源码+项目说明.zip智源虚假新闻检测比赛参赛源码+项目...
智源社区 2021 AI报告.pdf
07-14
智源社区 2021 AI报告
2020智源大会文集合集（第二部分）1
08-03
1. 基于无监督或自监督学习的上下文词表征模型能够成功学习到语言结构，取得这样的成功证明了语言模型的 2. 既然语言模型已经能够学习语言结构，那过去几十年耗费人
爆肝 72小时，教你使用CodeGeex AI编程
木川的技术之路
09-10 8342
阅读本文大概需要 10分钟。 大家好，我是木川本文将会从以下几方面来介绍：使用 CodeGeex 前期准备CodeGeex 模型训练编程操作 SOP结尾一、使用 CodeGeex 前期准备一）CodeGeex 介绍 CodeGeeX 是清华大学知识工程实验室研发的一款基于大模型的全能的智能编程助手，它可以实现代码的生成与补全、自动添加注释、代码翻译以及智能问答等功能。对上百名用户进行问卷调研，...
多编程语言代码生成神器 CodeGeeX，编码效率提升十倍！
芋艿V
06-26 521
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 E...
论文解读 CodeX，Human Eval
人工智能曾小健
08-07 298
capturing。
开源项目_代码生成模型评测工具
谢彦的技术博客
03-17 1101
开源项目_代码生成模型评测工具
HumanEval是如何进行代码评估的：从数据构成、评估逻辑到pass@k指标计算
zenRRan的博客
12-22 7578
来自：老刘说NLP快来！NLP论文投稿、LLM交流、论文直播群HumanEval: Hand-Written Evaluation Set，是工作《Evaluating Large Language Models Trained on Code》(https://arxiv.org/abs/2107.03374)中提到的一个代码评测基准。最近在做代码方面的评估，走了许多弯路，在评估逻辑上有些误解，...
帮你写代码的大模型CodeGeeX！
z2021_000000的博客
01-01 6982
CodeGeeX能获得最佳的平均性能，显著超越了参数量更小的模型(7.5%~16.3%的提升)，与参数量更大的模型CodeGen-Multi-16B表现相当（平均性能 54.76% vs. 54.39%）。提示模式的原理是利用CodeGeeX强大的少样本生成能力，可以在输入中添加额外的提示来实现一些有趣的功能，包括且并不限于代码解释、概括、以特定风格生成等。选择当前选中代码的语言，CodeGeeX将会把代码翻译成IDE当前编写的语言，点击翻译结果上方的“use code”即可将翻译结果插入文件。
智源人工智能研究院大模型
03-26
智源人工智能研究院大模型是CSDN自主研发的一款基于深度学习技术的自然语言处理模型。该模型经过大规模的训练和优化，可以实现对各种自然语言任务的处理和理解。它可以用于文本分类、情感分析、机器翻译、问答系统等多个领域。 智源人工智能研究院大模型的特点包括： 1. 强大的语义理解能力：该模型通过深度学习算法，可以对输入的文本进行深入的语义理解，从而更好地理解用户的意图和需求。 2. 多领域适应性：该模型经过大规模的训练，可以适应不同领域的文本处理任务，包括科技、金融、医疗等多个领域。 3. 高效的处理速度：该模型经过优化，可以在较短的时间内完成对文本的处理和分析，提高了处理效率。 4. 可扩展性强：该模型可以通过不断的训练和优化，不断提升自身的性能和能力，适应不断变化的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值