2个系列:
-
多模态:Llama 3.2 11B 和 90B,支持视觉多模态,LLama终于有了眼睛!
-
端侧小模型:LLama 3.2 1B 和 3B
对于新增的多模态模型,只新增了图像编码器,将其集成到预训练模型中,没有更新语言模型参数,即插即用!
对于 Llama 3.2 中的 1B 和 3B 模型,直接使用8B、70B的logits蒸馏,比较常见的蒸馏方式,就是废卡。
虽然 LLama 系列终于有了视觉。但是,今天 allenai 开源了多模态 Molmo 72B 和 7B 模型。并且在视觉方面的表现全面超过了 3.2,太卷了~
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
下表是目前知名多模态模型的横向对比,可能存在错误(claude生成的~)
Benchmark | Molmo-72B | Molmo-7B-D | Molmo-7B-O | MolmoE-1B | Llama 3.2 11B | Llama 3.2 90B | Qwen-VL-72B | GPT-4o | Claude-3.5 Sonnet | Qwen2-VL-7B | GPT-4o-mini | InternVL2-8B | MiniCPM-V 2.6 |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|
AI2D | 96.3 | 93.2 | 90.7 | 86.4 | 62.4 | 75.3 | - | - | - | - | - | - | - |
ChartQA | 87.3 | 84.1 | 80.4 | 78.0 | 83.4 | 85.5 | 88.3 | 85.7 | 90.8 | 83.0 | - | 83.3 | - |
VQAv2 | 86.5 | 85.6 | 85.3 | 83.9 | 75.2 | 78.1 | - | - | - | - | - | - | - |
DocVQA | 93.5 | 92.2 | 90.8 | 77.7 | 88.4 | 90.1 | 96.5 | 92.8 | 95.2 | 94.5 | - | 91.6 | 90.8 |
InfoVQA | 81.9 | 72.6 | 70.0 | 53.9 | 43.2 | 56.8 | 84.5 | - | - | 76.5 | - | 74.8 | - |
TextVQA | 83.1 | 81.7 | 80.4 | 78.8 | 73.1 | 73.5 | 85.5 | - | - | 84.3 | - | 77.4 | 80.1 |
RealWorldQA | 75.2 | 70.7 | 67.5 | 60.4 | N/A | N/A | 77.8 | 75.4 | 60.1 | 70.1 | - | 64.4 | - |
MMMU | 54.1 | 45.3 | 39.3 | 34.9 | 41.7 | 49.3 | 64.5 | 69.1 | 68.3 | 54.1 | 60.0 | 51.8 | 49.8 |
MathVista | 58.6 | 51.6 | 44.5 | 34.0 | 51.5 | 57.3 | 70.5 | 63.8 | 67.7 | 58.2 | 52.4 | 58.3 | 60.6 |
OCRBench | - | - | - | - | - | - | 877 | 736 | 788 | 845 | 785 | 794 | 852 |
MTVQA | - | - | - | - | - | - | 30.9 | 27.8 | 25.7 | 26.3 | - | - | - |
VCR_un easy | - | - | - | - | - | - | 91.93 | 91.55 | 63.85 | 89.70 | 83.60 | - | 73.88 |
MMBench-EN | - | - | - | - | - | - | 86.5 | 83.4 | 79.7 | 83.0 | - | 81.7 | - |
MMStar | - | - | - | - | - | - | 68.3 | 63.9 | 62.2 | 60.7 | 54.8 | 61.5 | 57.5 |
HallBench | - | - | - | - | - | - | 58.1 | 55.0 | 49.9 | 50.6 | 46.1 | 45.2 | 48.1 |
Video-MME | - | - | - | - | - | - | 71.2/77.8 | 71.9/71.2 | 75.0/81.3 | 63.3/69.0 | - | 54.0/56.9 | 60.9/63.6 |
如何学习AI大模型 ?
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习
这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓