- 博客(34)
- 收藏
- 关注
RSS订阅原创 ICDE2024 ｜VDTuner：向量数据库自动调优技术
在本文中，我们提出了 VDTuner，这是一种基于学习的性能调优框架，可优化向量数据库索引和系统配置。VDTuner积极地在搜索速度和召回率之间取得平衡，并通过轮询结构、专门的代理模型和自动预算分配策略提供更好的性能。广泛的评估证明 VDTuner 是有效的，在调整效率方面显著优于基准，并且可针对不断变化的用户偏好和成本意识目标进行扩展。未来，我们希望将 VDTuner 扩展到在线版本，以主动捕获不同的工作负载。
2024-05-07 18:09:18
886
1
原创 对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程
超70%代码问题，单纯靠基座大模型是解决不了的；未来3-5年，人类50%编程工作可以被替代，有些环节甚至完全自动化。蚂蚁集团代码大模型CodeFuse负责人李建国说道。当下，AI代码生成领域正在野蛮式生长，巨头涌入，AI员工频频上线企业；首个AI程序员Devin被曝造假…… 面对风起云涌的代码生成变革，李建国给出了这样一个明确论断。是谁？清华大学博士，机器学习、深度学习深耕十余年，论文被引万余次。在他的带领下，蚂蚁内部正全面推行AI编程。每周已有使用CodeFuse，目前。
2024-04-24 11:12:58
792
1
原创 变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势
在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。功能演示：在muAgent里能够实现本地代码库的问答功能1、能够支持java代码库导入，并转换成向量数据、图数据以及传统数据
2024-04-24 10:37:54
655
原创 CodeFuse代码优化实战：Java日期格式化时如何正确表示年份？
代码优化，是 CodeFuse 插件推出的功能之一，它可以对选定代码段进行分析理解，提出优化和改进建议。还能直接基于改进建议形成代码补丁，帮助开发者写出更好的代码。安装CodeFuse插件后，选中代码右键即可使用代码优化功能。
2024-03-15 11:21:50
391
原创 CodeFuse-VLM 开源，支持多模态多任务预训练/微调
随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。
2024-02-05 16:41:26
1014
1
原创 CodeFuse成功支持通义千问算法大赛，评测方案已开源
前段时间， 首届通义千问AI挑战赛成功举办，CodeFuse 为大赛提供技术支持，模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航，助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案，目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放，欢迎大家下载使用。
2024-02-02 10:36:11
1147
原创 CodeFuse新开源模型荣登Big Code评测榜首！
对于NLP通用能力测试，我们参照OpenCompass选择了18个评测集，包括语言能力（AFQMC、CHID、Wic、WSC）、推理能力（COPA、CMNLI、OCNLI、Ax-b、Ax-g、RTE）、理解能力（CSL、C3、EPRSTMT）、学科综合能力（MMLU、C-Eval、ARC-c）、代码能力（HumanEval、MBPP）。MFTCoder已经开源，本文中提到的模型和数据集也在陆续开源中，如果您喜欢我们的工作，欢迎试用、指正错误和贡献代码，可以的话请给我们的项目增加Star以支持我们。
2024-01-30 17:41:43
1337
原创 CodeFuse荣获信通院优秀大模型案例及两项荣誉证书
2024 年 1 月 25 日，中国人工智能产业发展联盟智能化软件工程工作组（AI for Software Engineering，下文简称AI4SE）在京召开首届“AI4SE创新巡航”活动。在活动上，CodeFuse 荣获“2023 AI4SE 银弹优秀案例”，并获颁人工智能关键技术和应用评测重点实验室“代码大模型数据集共建单位”与“《智能化软件工程技术和应用要求 第一部分：代码大模型》核心编写单位”荣誉证书。
2024-01-26 17:54:44
919
原创 使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践
CodeFuse（）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse 提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现利用 MFTCoder [1,2] 微调后的模型显著优于原始基座模型。
2024-01-23 15:18:27
1056
原创 MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP
CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。此外，MFTCoder具备高效训练特征，包括提供高效的数据Tokenization模式和支持PEFT微调，能有效提升微调训练速度并降低对资源的需求。
2024-01-19 17:37:12
843
原创 蚂蚁代码大模型是如何炼成的？
刚刚过去的 2023 年，对于大模型来说是元年，对于代码大模型来说，则是“狂飙”的一年。一年以前，几乎没人知道代码大模型是什么，有什么用。一年之后，很多公司和程序员都在考虑使用它。作为诞生在 2023 年的 CodeFuse 代码大模型，它背后的团队其实也经历了巨大的观念改变。CodeFuse 的成长过程，其实是团队同学观念不断刷新，解决之前疑问的过程。这些问题的答案是什么？我们找到了从第一天就加入项目的算法同学千奇，来听听他的说法。
2024-01-11 14:47:53
1274
原创 ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！
Qwen-14B-Chat在工具调用准确率fccr和aar的得分最高，说明通过Qwen-14B-Chat遵循指令微调的能力最好，同时也可以看到Qwen-7b-chat的fccr也基本与Qwen-14b-chat持平。为弥补这一不足，CodeFuse发布了首个面向ToolLearning领域的中文评测基准ToolLearning-Eval，以帮助开发者跟踪ToolLearning领域大模型的进展，并了解各个ToolLearning领域大模型的优势与不足。后续我们也会评测更多其他的大模型。
2024-01-10 17:29:10
1441
原创 CodeFuse开源这半年
2023 年可以称得上是大模型元年，在过去的这一年里，大模型领域飞速发展，新的大模型纷纷涌现，基于大模型的新产品也吸引着大家的眼球，未来，这个领域又会给大家带来多少惊喜？蚂蚁也推出了自己的百灵代码大模型 CodeFuse，经历近半年内部打磨后，在 9 月正式对外开源。下面就让我们来看一下，在过去的半年里，CodeFuse 在开源方面取得了哪些进展？
2024-01-08 11:11:28
1135
原创 感谢对CodeFuse的认可～
自 CodeFuse 对外发布以来，吸引了很多开发者前来试用，也受到了业界朋友的关注，获得了一些奖项，在这里感谢大家对 CodeFuse 的认可～
2023-12-29 15:46:08
1018
原创 QCon专场预告：智能研发时代效能提升之路
目前大模型垂直领域 Code-LLM，关注的不仅仅是代码生成，而是如何结合研发全流程，渗透设计、需求、编码、测试、部署、运维等关键阶段，彻底迈入智能研发时代。12 月 28 日，2023 年 QCon 全球软件开发大会上海站即将盛大开场。本次专题将讨论代码领域大模型研究和开发的最新进展，以及在研发领域的创新应用形式。同时还将讨论 AI 及大语言模型对研发效能的影响。本次「智能研发时代效能提升之路」专题由蚂蚁集团研发效能技术负责人陈红伟担任专题出品人。
2023-12-27 10:39:59
893
1
原创 DevOps-ChatBot：DevOps开源端到端智能AI助手
ChatGPT面向公众开放将近一年的时间里，涌现了许多优秀的开源与闭源模型及框架。从今年4月份开始，我们团队便深入探索DevOps领域大模型和业务落地，这个过程中我们经历了不少挑战。从最初搜集内部文档、代码以及网络开源数据进行模型的加强训练，到现阶段模型与框架的紧密结合。我们认为大模型在DevOps领域最可靠的落地方式或者说在真正意义上替代人工完成任务，还需结合面向知识库&代码库的RAG（增强事实问答和逻辑推理的能力），解决特定领域任务的专有能力（领域任务微调增强）以及逻辑推理&语义理解的通用能力。
2023-12-20 17:15:16
1386
1
原创 蚂蚁CodeFuse新版发布，前端能力优化，支持安卓开发
蚂蚁百灵研发助手 CodeFuse 插件发布新版，本版本新增支持 Android Studio，并针对 JavaScript、TypeScript 等前端语言优化了模型效果，同时还将输出Token增加到最多 1024 个。目前 CodeFuse 处于邀请测试阶段，欢迎各位开发者前往官网申请资格参与测试。在之前已安装插件的用户需要下载最新版本，才可享受 CodeFuse 插件最新能力。
2023-12-11 14:27:23
990
1
原创 CodeFuse能力测评及优化技巧
近一年来大模型越来越火，在研发领域的代码大模型也如雨后春笋般出现。蚂蚁也发布了自己的百灵代码大模型 CodeFuse，作为内部技术同学，当然要尝试下它的能力能否胜任日常的编码工作，于是在网上找了一些评测常用的问题，以及根据自己日常研发会遇到的问题进行了一些测试，下面就是评测结果。需要注意，本文所评测的 CodeFuse 是 2023 年 11 月初的蚂蚁内部版本，其结果表现仅适用于该版本。好了，CodeFuse 具体表现如何，就由大家自行评判吧。可以看出GPT生成的结构正确，且根据命名生成了较为合理的测试数
2023-12-07 13:54:38
229
原创 CodeFuseEval : 代码类大模型多任务评估基准
代码领域作为自然语言大模型的一个垂类，除去NLP通用的一些技术能力评估、模型认知评估和安全可信评估外，对编码领域自身，需针对性评估模型自身在技术能力层面的表现，如不同类型代码生成能力、上下文或计算机知识的理解能力，以及在对外服务能力层面的表现，如服务体验、稳定性、开放性等。附：编码垂类评估内容示意图如下图，针对代码生成类和理解类的2个效果截图示例（代码补全和添加注释），在这2大类下会有一些技术能力和服务能力层面的共同关注点（代码正确性、语义准确性/可读、产品交互体验、内容合规安全等），
2023-11-24 14:39:36
501
1
原创 DevOps-Model：面向DevOps领域的大语言模型现已开源
DevOps-Model 是蚂蚁集团联合北京大学发布面向中文 DevOps 领域的大语言模型，通过收集 DevOps 领域相关的专业数据，再针对模型进行语言模型的加训和对齐训练，产出可以帮助工程师在整个开发运维生命周期提效的大模型。弥补当前大模型在 DevOps 领域的缺失，旨在做到有问题，问 DevOps-Model!当前我们已经开源了 7B 和 14B 两种规格的经过加训得 Base 模型和经过对齐后的 Chat 模型，同时还开源了对应的训练代码，欢迎大家一起合作建设！
2023-11-22 16:55:54
199
原创 新时代的程序员，已经在用大模型写代码了
咔哒”，“咔哒”。悟鸣在键盘上输入一个关键词，后面马上自动浮现出他接下来要输入的代码。他快速地扫了一眼，感觉没什么问题，按下“Tab”键，代码从灰色变成正常，代表这些代码被采纳，成为他所编写代码的一部分。这是他近段时间写代码的常见场景。自动浮现出的代码来自于 AI 的预测，而这种神奇的能力，就来自于近来越来越火的生成式 AI（AIGC），只不过他所用的智能工具，属于程序员专用，是 AIGC 在研发领域的应用。AIGC 的背后，正是现在越来越火的大语言模型技术。
2023-11-20 17:32:23
101
1
原创 500篇论文！最全代码大模型综述来袭
11月14日，蚂蚁集团联合上海交通大学发布55页代码大模型综述，覆盖超过50个模型、30个下游任务、500篇参考文献，全方位总结大语言模型在代码相关应用中的最新进展与挑战。论文链接:Repo:Twitter 大V转发:Repo 会持续更新，添加最新论文，欢迎大家关注。
2023-11-17 18:09:28
346
原创 干货！MFTCoder论文多任务微调技术详解
本文选择了与代码相关的5个下游任务，总共训练了7个模型，包括针对每个任务单独进行微调的SFT-S-*模型、使用所有任务数据混合进行微调的SFT-MIXED模型，以及使用MFT方法训练的MFT-5TASKS模型。文章比较和测试了每个模型在其目标能力方面的性能。此外，文章还对比评估了MFT方法和混合SFT方法在未见任务上的泛化性能。结论总结如下：使用MFT方法训练的模型优于针对每个任务单独进行微调的模型，对RQ1给出了肯定的回答。
2023-11-15 15:45:25
295
原创 CodeFuse开源ModelCache大模型语义缓存
CodeFuse 开源火热进行中！本次开源的是 ModelCache 大模型语义缓存，可大幅降低大模型应用的推理成本，提升用户体验。在LLM技术浪潮席卷全球的背景下，大型模型快速增长的参数规模，对部署所需的推理资源带来了极大的挑战。为了提高大型模型的推理性能和效率，我们尝试从缓存角度解决当前大模型规模化服务部署的困境。类似传统应用，大模型的用户访问同样具有时间和空间的局部性（例如：热门话题相关内容，热门 GitHub repo）。
2023-11-14 16:05:13
260
1
原创 CodeFuse-MFTCoder 提升 CodeGeeX2-6B 代码能力
CodeFuse-MFTCoder 项目地址：GitHub - codefuse-ai/MFTCoder: High Accuracy and efficiency multi-task fine-tuning framework for Code LLMsCodeFuse-Codegeex2-6B 模型地址：https://modelscope.cn/models/codefuse-ai/CodeFuse-CodeGeeX2-6B https://huggingface.co/codefuse-ai/C
2023-11-10 17:19:00
266
1
原创 DevOps-Eval：蚂蚁集团联合北京大学发布首个面向DevOps领域的大语言模型评测基准！
其中，dev数据集包含5个带有标签和解析的样例，用于few-shot评测；日志中包含了"Cannot open channel to <*> at election address /<*>:<*>"和"******* GOODBYE /<*>:<*> ********"这两个固定的模板片段，它们都在选项D中出现了。如下图所示，5-shot的结果要稍好于0-shot，其中DevOpsPal-14B-Chat平均分依然最高，达到了81.77分，Internlm-7B-Base评分较低，为69.17分。
2023-11-02 16:05:45
242
原创 在 Visual Studio Code 中使用 CodeFuse
Visual Studio Code作为一款广受程序员欢迎的代码编辑器，在前端开发和各类脚本语言开发中占据主流地位，CodeFuse智能研发助手就专门为VS Code研发了插件，只要安装插件就可以使用CodeFuse提供的各种功能，下面我们看看如何在VS Code中使用CodeFuse插件呢？CodeFuse 目前支持在 10 款 IDE 中安装，包括、Visual Studio Code（下文简称为 VS Code），以及。
2023-11-01 16:58:38
437
1
原创 CodeFuse有奖征文：助力高效编程，赢取丰厚奖品！
为了促进CodeFuse社区的交流和分享，我们决定举办一场CodeFuse学习分享征稿活动，鼓励和我们志同道合的人们分享自己使用CodeFuse或者基于CodeFuse开发过程中的学习教程、开发案例以及使用心得，帮助整个社区更好的共同成长。可以分享把CodeFuse用于实际的代码场景，解决实际的问题，包括但不限于软件的设计、需求、编码、测试、部署、运维。分享可以包括文字、图片、视频等形式，内容应具有实用性、可操作性，并能够帮助其他用户更好地理解和使用CodeFuse。在征文大赛官方群内，投稿文章链接。
2023-10-25 14:52:58
107
1
原创 蚂蚁智能研发助手CodeFuse来了！支持40余种编程语言
祝各位开发者节日快乐！今天，在这个特殊的日子里，我为大家带来一份小礼物——蚂蚁出品的智能研发助手 CodeFuse～今年，互联网最热门的话题之一，就是以 ChatGPT 为代表的“生成式 AI”，而对程序员来说，则是 AI 辅助编程工具的兴起。最近，国内也涌现出许多智能编码助手。现在，蚂蚁也为大家带来了自己的 AI 研发助手 CodeFuse！我们荣幸地邀请您参与CodeFuse 插件的邀请内测，报名并审核通过后即可免费下载使用，快来试试吧～
2023-10-24 14:47:15
2984
原创 您的智能测试助理来了！蚂蚁TestAgent开源，快来体验！
TestAgent旨在构建测试领域的“智能体”，融合大模型和质量领域工程化技术，促进质量技术代系升级。我们期望和社区成员一起合作，打造创新的测试领域解决方案，构建24小时在线的测试助理服务，让测试如丝般顺滑。很高兴地宣布，我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型，以及配套的本地模型快速发布和体验工程化框架，欢迎体验和关注！
2023-10-24 14:41:15
701
原创 TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践
另外，我们这里采用了静态量化方式，即通过矫正数据离线地进行量化，得到诸如缩放因子和零点的量化参数，在推理时不再进行量化参数的更新。与之对应的是动态量化，会在模型推理的同时根据输入进行量化参数的调整。可以看到，在A100上，TensorRT-LLM的int4相对fp16，最高能够带来2.4的加速（Speedup），相对int8最高也能带来1.7的加速。可见，4bit量化后，显存占用大幅缩小，在一张A10(24GB显存)上就能部署34B的大模型，同时精度相比FP16损失小于<1%，具备非常好的实用性。
2023-10-24 11:18:14
477
原创 CodeFuse-MFTCoder提升Qwen-14B代码能力
在五种编程语言的代码补全测试集HumanEval-x上进行了相关评测（见表2），测试结果显示与Baichun2-13B-Base、Qwen-14B-Base、CodeGeex2-6B、StarCoder-15B等模型相比，微调后的Qwen-14B-MFT在Java/Python/Cpp/JavaScript均是Top1，相对于底座平均提升10%+。Qwen官方透出的评测，在各项能力上都超过了同等大小的开源大语言模型，包括LLaMA，LLaMA2，ChatGLM2，Baichuan2，InternLM等。
2023-10-20 17:37:41
341
1
原创 CodeFuse发布34B-4bit单卡4090可部署模型
MFT 微调的 CodeLLaMA-34B，在 HumanEval 上取得了 74.4% 的结果(和 CodeLLaMA 一样，基于 greedy generation 模式评测)，该结果超过了 GPT-4 (67%) 的成绩，也超过了 WizardCoder-34B 73.2% 的得分，在开源模型中位于国际前列。在顶层，CodeFuse 支持最新的多个开源模型，包括 LlaMA，LlaMa-2，StarCoder，Baichuan，Qwen，Chatglm2，GPT-neox 等。
2023-10-19 11:34:21
435
1
原创 初次见面，请多关照～
大家好，初次见面，我是蚂蚁代码大模型 CodeFuse，我诞生的使命，是为开发者提升编程效率。告诉大家一个好消息！在近日的外滩大会上，我正式开源了，大家可以去 GitHub、HuggingFace 和魔搭社区下载部署，大家一起玩起来～CodeFuse 是蚂蚁自研的代码生成专属大模型，根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释，自动生成测试用例，修复和优化代码等，以提升研发效率。无论用户是初学者还是有经验的开发者，
2023-10-19 11:22:29
51
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人