没搞错吧，图生代码？代码AI助手全解析

凡人的AI工具箱

已于 2024-10-04 08:18:50 修改

阅读量2.2k

点赞数 18

分类专栏：我的微信公众号（联系我）文章标签：人工智能 AIGC AI编程 agi ai

于 2024-09-04 11:30:41 首次发布

本文链接：https://blog.csdn.net/weixin_40780178/article/details/141888871

版权

我的微信公众号（联系我）专栏收录该内容

87 篇文章

订阅专栏

大家好，我是凡人。

昨天那位程序员朋友又把我大半夜薅出来了，这次他很高兴，他把我文章提到的AI编程工具，全部整理后发给了领导，领导一看小伙儿还行，就特别上报把绩效从D改到了B，还说如果他能用起来，就给他A，让我赶紧给他点建议。

我就用图片生成了代码，直接把他镇傻了。

CodeFuse是蚂蚁集团自研的AI编程工具，旨在通过人工智能技术提升编程效率和代码质量。在实际应用中，CodeFuse的应用场景广泛，包括但不限于开发助手、IDE插件、数据分析器等。它能够助力开发者低门槛编程，例如通过自然语言编写H5小程序1，提供辅助编码、代码优化和生成单测等功能。

CodeFuse的一个创新功能是“图生代码”，这一技术允许开发人员仅需提交产品设计图纸，就能快速生成对应的代码。这表明CodeFuse不仅能够理解文本描述的编程需求，还能根据视觉设计图自动生成代码，极大地简化了开发流程。

此外，CodeFuse还支持多任务微调，即利用多个代码任务数据集对模型进行微调，以适应不同的编程需求。这种能力使得CodeFuse能够在多种编程语言和环境中发挥作用，提高了其适用性和灵活性。

在蚂蚁集团内部，CodeFuse已经得到了广泛应用。据报道，超过五成的程序员在日常研发中使用CodeFuse，且生成的代码整体采纳率为30%，在生成单元测试场景的采纳率可以达到50%。这说明CodeFuse不仅提高了开发效率，还提升了代码的质量和可维护性。

CodeFuse通过其多样化的应用场景、创新的“图生代码”功能以及强大的多任务微调能力，在实际应用中展现了显著的效果，为开发者提供了高效、智能的编程辅助工具。

一、CodeFuse“图生代码”的表现如何？

CodeFuse的“图生代码”功能是蚂蚁集团自研的智能研发平台CodeFuse推出的一项新功能，旨在支持开发人员使用产品设计图一键生成代码。这项功能基于百灵多模态大模型技术，能够将网页、小程序、APP的设计图片直接转化成相应的代码。这不仅可以大幅提升前端页面的开发效率，还能极大降低开发团队在开发网页、小程序、App时的代码工作量。

在实际应用中，这项功能的表现非常出色。据报道，超过五成的程序员已经开始使用AI来编写代码，这表明“图生代码”功能受到了广泛的欢迎和认可。此外，该功能目前还在内测阶段，但已经显示出其强大的泛化能力和实用性。通过多任务微调，CodeFuse-MFTCoder展现了在代码智能生成、代码修复等任务中的高效能力。

CodeFuse的“图生代码”功能通过将产品设计图一键转化为代码的方式，显著提高了开发效率并减少了开发工作量。其基于先进的百灵多模态大模型技术，已经在实际应用中展现出良好的性能和广泛的适用性。

二、CodeFuse支持的编程语言和环境

CodeFuse支持的编程语言包括Java、Python、TypeScript、JavaScript和Go，这些是其主要支持的5种主流编程语言。此外，它还支持其他40种编程语言的单行代码补全。在环境方面，CodeFuse插件未来将支持支付宝小程序云的云端研发环境，用户可以随时随地通过浏览器使用该工具。

关于多任务微调，CodeFuse-MFTCoder是一个开源的多任务代码大语言模型项目，它能够在一个模型中同时支持多个任务，并保证这些任务之间的平衡。这个项目不仅支持最新的多个开源模型，如gpt-neox和llama，而且还能够泛化到新的、之前未见过的任务上。CodeFuse-VLM是在CodeFuse多任务微调的基础上进一步发展的一个框架，它支持多模态多任务预训练/微调。通过结合多种损失函数，CodeFuse-VLM有效地解决了多任务学习中常见的问题，如任务间数据量不平衡、难易不一和收敛速度不一致等挑战。此外，该框架具备高效训练特征，能够在多个模态、多个任务上同时并行地进行微调。