- 博客(52)
- 收藏
- 关注
RSS订阅
原创 活动｜2024 CodeFuse 「编码挑战季」活动已开启！欢迎报名参加
本次参与活动的 4 个仓库共计 20 多个任务，每个代码仓库还有简单、中度、困难三种不同程度的任务分类，开发者可以自由选择自己要感兴趣的项目任务，并跟帖，我们将在第一时间分配任务，完成任务即获得所对应任务的积分，赢取定制周边和隐藏大奖。所有技术栈都是开源且充满活力的。
2024-10-24 11:53:21
481
原创 CodeFuse 开源一周年，焕新出发！
CodeFuse 是蚂蚁集团推出的开源项目，旨在通过大型代码语言模型（Code LLMs）支持软件开发生命周期各阶段，包括设计、编码、测试、部署等。自2023年9月开源以来，CodeFuse 不断迭代，推出了一系列创新产品和技术，如 CodeFuse IDE、muAgent 2.0 框架及 CGE 和 Rodimus 模型。项目已在蚂蚁集团内部广泛应用，并在多个行业会议上展示分享。未来，CodeFuse 将继续深耕开源，推出更多创新产品，并加强社区互动与合作。欢迎访问 CodeFuse 官网
2024-09-14 15:38:55
1221
原创 CodeFuse IDE 0.6 版本发布，支持编辑器诊断问题 AI 修复
CodeFuse IDE 是一款基于蚂蚁自研大模型 CodeFuse 和自研 IDE 框架 OpenSumi 开发的 AI IDE，它支持主流的编程语言，在开发过程中提供单行代码或整个函数的编写建议，此外还支持代码解释、单测生成、问题修复、智能终端等功能，提升开发质量和效率。Monaco 编辑器默认在出现下拉补全时不会出现 AI 提供的内敛补全，用户只能手动按一次 esc 隐藏掉下拉补全之后才能看到智能补全，非常不便。在下拉补全和内敛补全同时出现，如果此时需要选择内敛补全，则按 tab 即可采纳内敛补全。
2024-10-31 18:16:58
501
原创 对话蚂蚁开源蒋炜：让 Agent 把运维人员从 24 小时的待命中解放出来
在大模型出现之前，模型技术主要解决时序、日志、拓扑等结构化或半结构化数据的智能分析。但对于人类而言，更擅长的是语言沟通、文字记录、代码编写等非结构化数据处理。在大模型出现前，像。
2024-10-31 16:21:36
605
原创 活动｜2024 CodeFuse 「编码挑战季」活动已开启！欢迎报名参加
本次参与活动的 4 个仓库共计 20 多个任务，每个代码仓库还有简单、中度、困难三种不同程度的任务分类，开发者可以自由选择自己要感兴趣的项目任务，并跟帖，我们将在第一时间分配任务，完成任务即获得所对应任务的积分。ModelCache 是一个用于大型语言模型（LLM）的语义缓存系统，通过缓存预先生成的模型结果，减少类似请求的响应时间，该项目旨在通过引入缓存机制来优化大模型推理服务，帮助企业和研究机构降低推理部署成本，提高模型性能和效率，并为大型模型提供可扩展的服务。所有技术栈都是开源且充满活力的。
2024-10-31 13:28:15
869
原创 2024年代码大模型论文精选第五期
引言本文整理 2024 年 9 月至 10 月中旬全球各大高校与科研机构发布的 70 篇代码大模型相关论文。根据论文内容，我们将这些论文整理为了基座模型、代码微调、测试基准、代码 Agent、代码与大模型推理、代码生成、SQL 生成、代码 embedding、漏洞检测与修复等主题。全文篇幅较长，建议电脑端阅读。若您想了解其他时期的代码大模型论文，也欢迎关注我们的代码大模型综述TMLR）和 GitHub 开源项目。
2024-10-31 13:16:45
867
原创 CGE：基于Causal LLM的Code Embedding模型
CodeFuse-CGE 项目在外滩大会展出，吸引众多技术与产品从业者的关注。“文搜代码”功能备受好评，模型表现令人期待。CodeFuse-CGE 采用大语言模型，通过 LoRA 微调提取文本与代码嵌入，实现在多个 NL2Code 基准测试中超越现有 SOTA 模型。现已开源 CGE-Large 与 CGE-Small 两种模型，欢迎访问 GitHub 页并支持本项目。[项目地址](https://github.com/codefuse-ai/CodeFuse-CGE)
2024-09-19 15:01:13
827
原创 2024 年 8 月暨 ACL 2024 57篇代码大模型论文精选
2024年8月中旬，国际计算语言学大会ACL在泰国曼谷举行，展示了48篇代码大模型相关论文，包括24篇主会论文和24篇findings论文。主会论文涵盖XFT、WaveCoder、DolphCoder等创新方法，findings论文则探讨了代码注释增强、自动化程序修复等主题。此外，还额外整理了9篇8月最新代码大模型论文，涉及数据集合成、安全代码生成等多个前沿方向。欲了解更多，请访问我们的综述和GitHub项目。
2024-09-19 13:57:14
1525
原创 蚂蚁CodeFuse代码大模型技术解析：基于全仓库上下文的代码补全
背景2023年CodeFuse完成了百亿级别的代码大模型从0到1的预训练，配合指令微调、量化部署等一系列配套技术，成功将AI大模型能力应用到多个下游研发场景，助力生产提效。在众多下游产品中，CodeFuse代码补全插件直接触及研发过程中最核心的编码场景，因此对开发效率的影响最显著。目前，CodeFuse代码补全插件是CodeFuse系列产品中用户数量最多、留存率最大，调用AI能力最多的产品。目前，大部分代码语言模型在预训练阶段以文件为基本单位，随机选择代码文件拼接固定长度后组成训练样本。常见的代码评
2024-08-07 18:15:27
1461
原创 ACL 2024｜D2LLM：将Causal LLM改造成向量搜索模型的黑科技
本文源于蚂蚁集团与华东师范大学的校企合作项目，目前已被ACL 2024 main会议接收。ACL（Association for Computational Linguistics）会议是自然语言处理领域的顶级国际会议之一，是自然语言处理领域唯一的 CCF-A 类会议。语义搜索是自然语言处理的关键组成部分，它通过挖掘文本的底层语义关联对大量文本进行筛选，以找到与用户查询最匹配的内容。
2024-07-08 15:09:54
1098
原创 ACL 2024 | CoCA：自注意力的缺陷与改进
文章提出了一种新的自注意力架构，以解决 RoPE 和原始 Self-Attention 之间的异常行为。这是首次对自注意力机制中查询和键的相对位置的深入研究，并由此发现了此前被忽视的位置编码异常。文章进一步导出了 CoCA 的松弛实现，并在大量实验上表明了该方法在长文本扩展上的优越性。同时，CoCA 与其他优化方法的兼容性，也为其未来的实用价值提供了基础。CoCA 开源地址：https://github.com/codefuse-ai/Collinear-Constrained-Attention。
2024-07-05 11:35:32
1165
原创 2024年5月90篇代码大模型论文最全整理
本文整理了 2024 年 5 月发布的 90 篇代码大模型相关论文，其中包括 17 篇发表在今年 ICLR 的论文
2024-06-28 12:18:45
910
原创 CodeFuse-13B: 预训练多语言代码大模型
此外，我们从现有报告中收集了 13B到16B参数规模的七个当前主流多语言模型 GPT-NeoX-20B, CodeGeeX-13B, Baidu-ERNIE-3.5-15.5B, StarCoder-15.5B, CodeGen-multi-16B, CodeT5+-16B, CodeLlama-13B。CodeFuse-CodeLlama-34B在HumanEval上获得了74.4%的pass@1，超过了GPT4和ChatGPT-3.5的分数，在当时，领先其他开源语言模型模型（LLM）。
2024-06-27 12:31:31
438
原创 CodeFuse 开源官网上线啦~
后续更新我们会不断完善文档内容来提供更好的技术支持。后续会增加 Blog 页面，来持续同步 CodeFuse 的最新技术/技术应用/学术前沿文章。CodeFuse 线上社区活动，包括新手任务计划参考案例、社区共建计划参考案例等，也会在这里进行同步发布。关于 CodeFuse 团队CodeFuse 团队由一群充满热情的成员组成，我们的目标是构建大型编码语言模型（Code LLMs），以支持和提升在整个软件开发生命周期中的 AI 原生开发工作。
2024-06-24 16:03:55
1061
原创 MFTCoder论文被KDD 2024接收，开源v0.4.2版发布
CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。此外，MFTCoder具备高效训练特征，包括提供高效的数据Tokenization模式，支持PEFT微调和全量微调，能有效提升微调训练速度并降低对资源的需求。
2024-06-06 10:35:57
928
原创 ICDE2024 ｜VDTuner：向量数据库自动调优技术
在本文中，我们提出了 VDTuner，这是一种基于学习的性能调优框架，可优化向量数据库索引和系统配置。VDTuner积极地在搜索速度和召回率之间取得平衡，并通过轮询结构、专门的代理模型和自动预算分配策略提供更好的性能。广泛的评估证明 VDTuner 是有效的，在调整效率方面显著优于基准，并且可针对不断变化的用户偏好和成本意识目标进行扩展。未来，我们希望将 VDTuner 扩展到在线版本，以主动捕获不同的工作负载。
2024-05-07 18:09:18
1255
1
原创 对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程
超70%代码问题，单纯靠基座大模型是解决不了的；未来3-5年，人类50%编程工作可以被替代，有些环节甚至完全自动化。蚂蚁集团代码大模型CodeFuse负责人李建国说道。当下，AI代码生成领域正在野蛮式生长，巨头涌入，AI员工频频上线企业；首个AI程序员Devin被曝造假…… 面对风起云涌的代码生成变革，李建国给出了这样一个明确论断。是谁？清华大学博士，机器学习、深度学习深耕十余年，论文被引万余次。在他的带领下，蚂蚁内部正全面推行AI编程。每周已有使用CodeFuse，目前。
2024-04-24 11:12:58
936
1
原创 变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势
在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。功能演示：在muAgent里能够实现本地代码库的问答功能1、能够支持java代码库导入，并转换成向量数据、图数据以及传统数据
2024-04-24 10:37:54
1499
原创 CodeFuse代码优化实战：Java日期格式化时如何正确表示年份？
代码优化，是 CodeFuse 插件推出的功能之一，它可以对选定代码段进行分析理解，提出优化和改进建议。还能直接基于改进建议形成代码补丁，帮助开发者写出更好的代码。安装CodeFuse插件后，选中代码右键即可使用代码优化功能。
2024-03-15 11:21:50
479
原创 CodeFuse-VLM 开源，支持多模态多任务预训练/微调
随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。
2024-02-05 16:41:26
1234
1
原创 CodeFuse成功支持通义千问算法大赛，评测方案已开源
前段时间， 首届通义千问AI挑战赛成功举办，CodeFuse 为大赛提供技术支持，模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航，助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案，目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放，欢迎大家下载使用。
2024-02-02 10:36:11
1256
原创 CodeFuse新开源模型荣登Big Code评测榜首！
对于NLP通用能力测试，我们参照OpenCompass选择了18个评测集，包括语言能力（AFQMC、CHID、Wic、WSC）、推理能力（COPA、CMNLI、OCNLI、Ax-b、Ax-g、RTE）、理解能力（CSL、C3、EPRSTMT）、学科综合能力（MMLU、C-Eval、ARC-c）、代码能力（HumanEval、MBPP）。MFTCoder已经开源，本文中提到的模型和数据集也在陆续开源中，如果您喜欢我们的工作，欢迎试用、指正错误和贡献代码，可以的话请给我们的项目增加Star以支持我们。
2024-01-30 17:41:43
1582
原创 CodeFuse荣获信通院优秀大模型案例及两项荣誉证书
2024 年 1 月 25 日，中国人工智能产业发展联盟智能化软件工程工作组（AI for Software Engineering，下文简称AI4SE）在京召开首届“AI4SE创新巡航”活动。在活动上，CodeFuse 荣获“2023 AI4SE 银弹优秀案例”，并获颁人工智能关键技术和应用评测重点实验室“代码大模型数据集共建单位”与“《智能化软件工程技术和应用要求 第一部分：代码大模型》核心编写单位”荣誉证书。
2024-01-26 17:54:44
1005
原创 使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践
CodeFuse（）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse 提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现利用 MFTCoder [1,2] 微调后的模型显著优于原始基座模型。
2024-01-23 15:18:27
1160
原创 MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP
CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。此外，MFTCoder具备高效训练特征，包括提供高效的数据Tokenization模式和支持PEFT微调，能有效提升微调训练速度并降低对资源的需求。
2024-01-19 17:37:12
956
原创 蚂蚁代码大模型是如何炼成的？
刚刚过去的 2023 年，对于大模型来说是元年，对于代码大模型来说，则是“狂飙”的一年。一年以前，几乎没人知道代码大模型是什么，有什么用。一年之后，很多公司和程序员都在考虑使用它。作为诞生在 2023 年的 CodeFuse 代码大模型，它背后的团队其实也经历了巨大的观念改变。CodeFuse 的成长过程，其实是团队同学观念不断刷新，解决之前疑问的过程。这些问题的答案是什么？我们找到了从第一天就加入项目的算法同学千奇，来听听他的说法。
2024-01-11 14:47:53
1407
原创 ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！
Qwen-14B-Chat在工具调用准确率fccr和aar的得分最高，说明通过Qwen-14B-Chat遵循指令微调的能力最好，同时也可以看到Qwen-7b-chat的fccr也基本与Qwen-14b-chat持平。为弥补这一不足，CodeFuse发布了首个面向ToolLearning领域的中文评测基准ToolLearning-Eval，以帮助开发者跟踪ToolLearning领域大模型的进展，并了解各个ToolLearning领域大模型的优势与不足。后续我们也会评测更多其他的大模型。
2024-01-10 17:29:10
2505
原创 CodeFuse开源这半年
2023 年可以称得上是大模型元年，在过去的这一年里，大模型领域飞速发展，新的大模型纷纷涌现，基于大模型的新产品也吸引着大家的眼球，未来，这个领域又会给大家带来多少惊喜？蚂蚁也推出了自己的百灵代码大模型 CodeFuse，经历近半年内部打磨后，在 9 月正式对外开源。下面就让我们来看一下，在过去的半年里，CodeFuse 在开源方面取得了哪些进展？
2024-01-08 11:11:28
1248
原创 感谢对CodeFuse的认可～
自 CodeFuse 对外发布以来，吸引了很多开发者前来试用，也受到了业界朋友的关注，获得了一些奖项，在这里感谢大家对 CodeFuse 的认可～
2023-12-29 15:46:08
1068
原创 QCon专场预告：智能研发时代效能提升之路
目前大模型垂直领域 Code-LLM，关注的不仅仅是代码生成，而是如何结合研发全流程，渗透设计、需求、编码、测试、部署、运维等关键阶段，彻底迈入智能研发时代。12 月 28 日，2023 年 QCon 全球软件开发大会上海站即将盛大开场。本次专题将讨论代码领域大模型研究和开发的最新进展，以及在研发领域的创新应用形式。同时还将讨论 AI 及大语言模型对研发效能的影响。本次「智能研发时代效能提升之路」专题由蚂蚁集团研发效能技术负责人陈红伟担任专题出品人。
2023-12-27 10:39:59
979
1
原创 DevOps-ChatBot：DevOps开源端到端智能AI助手
ChatGPT面向公众开放将近一年的时间里，涌现了许多优秀的开源与闭源模型及框架。从今年4月份开始，我们团队便深入探索DevOps领域大模型和业务落地，这个过程中我们经历了不少挑战。从最初搜集内部文档、代码以及网络开源数据进行模型的加强训练，到现阶段模型与框架的紧密结合。我们认为大模型在DevOps领域最可靠的落地方式或者说在真正意义上替代人工完成任务，还需结合面向知识库&代码库的RAG（增强事实问答和逻辑推理的能力），解决特定领域任务的专有能力（领域任务微调增强）以及逻辑推理&语义理解的通用能力。
2023-12-20 17:15:16
1664
2
原创 蚂蚁CodeFuse新版发布，前端能力优化，支持安卓开发
蚂蚁百灵研发助手 CodeFuse 插件发布新版，本版本新增支持 Android Studio，并针对 JavaScript、TypeScript 等前端语言优化了模型效果，同时还将输出Token增加到最多 1024 个。目前 CodeFuse 处于邀请测试阶段，欢迎各位开发者前往官网申请资格参与测试。在之前已安装插件的用户需要下载最新版本，才可享受 CodeFuse 插件最新能力。
2023-12-11 14:27:23
1103
1
原创 CodeFuse能力测评及优化技巧
近一年来大模型越来越火，在研发领域的代码大模型也如雨后春笋般出现。蚂蚁也发布了自己的百灵代码大模型 CodeFuse，作为内部技术同学，当然要尝试下它的能力能否胜任日常的编码工作，于是在网上找了一些评测常用的问题，以及根据自己日常研发会遇到的问题进行了一些测试，下面就是评测结果。需要注意，本文所评测的 CodeFuse 是 2023 年 11 月初的蚂蚁内部版本，其结果表现仅适用于该版本。好了，CodeFuse 具体表现如何，就由大家自行评判吧。可以看出GPT生成的结构正确，且根据命名生成了较为合理的测试数
2023-12-07 13:54:38
389
原创 CodeFuseEval : 代码类大模型多任务评估基准
代码领域作为自然语言大模型的一个垂类，除去NLP通用的一些技术能力评估、模型认知评估和安全可信评估外，对编码领域自身，需针对性评估模型自身在技术能力层面的表现，如不同类型代码生成能力、上下文或计算机知识的理解能力，以及在对外服务能力层面的表现，如服务体验、稳定性、开放性等。附：编码垂类评估内容示意图如下图，针对代码生成类和理解类的2个效果截图示例（代码补全和添加注释），在这2大类下会有一些技术能力和服务能力层面的共同关注点（代码正确性、语义准确性/可读、产品交互体验、内容合规安全等），
2023-11-24 14:39:36
1034
1
原创 DevOps-Model：面向DevOps领域的大语言模型现已开源
DevOps-Model 是蚂蚁集团联合北京大学发布面向中文 DevOps 领域的大语言模型，通过收集 DevOps 领域相关的专业数据，再针对模型进行语言模型的加训和对齐训练，产出可以帮助工程师在整个开发运维生命周期提效的大模型。弥补当前大模型在 DevOps 领域的缺失，旨在做到有问题，问 DevOps-Model!当前我们已经开源了 7B 和 14B 两种规格的经过加训得 Base 模型和经过对齐后的 Chat 模型，同时还开源了对应的训练代码，欢迎大家一起合作建设！
2023-11-22 16:55:54
361
原创 新时代的程序员，已经在用大模型写代码了
咔哒”，“咔哒”。悟鸣在键盘上输入一个关键词，后面马上自动浮现出他接下来要输入的代码。他快速地扫了一眼，感觉没什么问题，按下“Tab”键，代码从灰色变成正常，代表这些代码被采纳，成为他所编写代码的一部分。这是他近段时间写代码的常见场景。自动浮现出的代码来自于 AI 的预测，而这种神奇的能力，就来自于近来越来越火的生成式 AI（AIGC），只不过他所用的智能工具，属于程序员专用，是 AIGC 在研发领域的应用。AIGC 的背后，正是现在越来越火的大语言模型技术。
2023-11-20 17:32:23
306
1
原创 500篇论文！最全代码大模型综述来袭
11月14日，蚂蚁集团联合上海交通大学发布55页代码大模型综述，覆盖超过50个模型、30个下游任务、500篇参考文献，全方位总结大语言模型在代码相关应用中的最新进展与挑战。论文链接:Repo:Twitter 大V转发:Repo 会持续更新，添加最新论文，欢迎大家关注。
2023-11-17 18:09:28
475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人