中国信息通信研究院(简称“信通院”)最近揭晓了其针对代码大模型的首份评估名单,其中,阿里云的人工智能编程辅助工具——通义灵码,不仅成功入围,还在全部超过100项能力测评中展现出卓越性能,荣获最高等级评价。
这项评估标准于2023年1月正式颁布,旨在通过一个全面的框架来衡量代码大模型的技术实力,该框架包括通用能力、特定应用场景能力及应用成熟度三大板块,细分为16个能力类别和超百项具体要求。评估严格考察了模型在输入多样性、任务多样性、语言完整性、输出可接受性、结果精确度等方面的综合表现。
阿里云通义灵码作为早期参与者,在此次评估中脱颖而出,荣获4+星级评价,标志着其在同类代码大模型中处于领先地位。
想要了解更多通义灵码大模型的能力,
可以报名阿里云通义AI大模型沙龙。
👇
信通院的评估细节揭示:
- 通用能力:通义灵码在代码转换、错误检测与修复、以及代码优化等核心功能上表现卓越。
- 专用场景能力:它支持多种开发场景,如网站开发、数据库开发、大数据处理、嵌入式系统开发等,展现了广泛的适用性。
- 应用成熟度:通义灵码在数据合规性、数据分类分级管理、模型稳定性和可维护性上均达到高水准,同时在模型推理效能和风险管理上亦表现出色。
通义灵码精通包括Java、Python、Go、JavaScript、TypeScript、C/C++、C#在内的200余种编程语言,能够有效辅助编程工作,涵盖编写、阅读、调试及优化代码等多方面。
为了更好地适应企业需求,通义灵码推出了标准版与专属版两个企业解决方案。标准版允许接入企业私有知识库,实现个性化知识问答,确保推荐代码符合企业规范;而专属版则在标准服务基础上,提供了公共云上的专属实例部署、独立的企业账户管理系统等增值服务,助力企业定制化模型并有效控制算力成本。
目前,通义灵码日均推荐代码量超过3000万次,已有上亿行代码被开发者实际采纳,成为中国市场上最受欢迎的编程辅助工具。它已被广泛应用于金融、制造业、互联网、交通、物流、能源等多个行业,显著提升了企业和个人开发者的工作效率。