苹果大模型MM1强势来袭！300亿参数所向披靡

已于 2024-03-21 22:43:18 修改
阅读量1.2k 收藏 8
点赞数 10
分类专栏： 新闻 文章标签： 人工智能 AI
于 2024-03-16 11:49:06 首次发布
为祖国自动驾驶事业健康工作50年
本文链接：https://blog.csdn.net/weixin_45485946/article/details/136759457
版权
苹果发布多模态大模型MM1，拥有30亿参数，表现出强大的图像理解和语言处理能力，能在图像问答、情感分析等多个任务中展现出色性能。论文揭示了构建高性能多模态模型的关键因素，包括数据选择、图像编码器和视觉语言连接器的设计。MM1在预训练和监督微调后，在多个基准测试中达到最先进的水平。
摘要由CSDN通过智能技术生成

功能展示

在这里插入图片描述

左图问：图片中有多少个苹果？

苹果大模型答：7个

在这里插入图片描述
左图问：这些州中哪一个是最北的？

回答：Delaware

追问：其他的州是什么？

回答：Arizona, Oklahoma, North Carolina

右图问：在这个食物网中，哪一个生物是生产者？

回答：浆果和花朵、草类、种子

在这里插入图片描述
难度升级

左图问：你能找到灰色的猫旁边的红球吗？

MM1并没有上当，直接回答：灰猫旁边没有红球。

右图也是一样的方式，MM1轻松回答。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
铃灵狗
关注
专栏目录
订阅专栏
苹果大模型MM1杀入场：300亿参数、多模态、MoE架构，超半数作者是华人
m0_65555479的博客
07-13 1060
苹果也在搞自己的大型多模态基础模型，未来会不会基于该模型推出相应的文生图产品呢？我们拭目以待。今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。如此种种，苹果向外界传达了加注 GenAI 的决心。
苹果最新多模态大模型MM1核心要点解读
zengzizi的博客
03-22 448
3 月 15 日，在一篇由多位作者署名的论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》中，苹果正式公布自家的多模态大模型研究成果 —— 这是一个具有高达 30B 参数的多模态 LLM 系列。在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。
多模态大模型 - MM1
yiyele的博客
07-15 1065
这部分主要探索三个（结构，数据和训练步骤）对多模态大模型效果的影响，模型基础配置：Image Encoder：ViT-L/14模型，训练loss为clip loss，训练数据DFN-5B和VeCap-300M，image size为336*336Vision-Language Connector：C-Abstractor，最大输出144 image token。
苹果加入战局，携 300 亿参数的 AI 大模型 MM1 “炸场”！
CSDN资讯
03-15 576
整理 |屠敏出品 | CSDN（ID：CSDNnews）在「造车」与「AI」两条截然不同的赛道上，苹果在今年毅然决定取消搞了十多年的电动车项目，而宣布：公司将于 2024 年在生成式人工智能领域“开辟新天地”。果不其然，在战略方向定下之后，他们的动作很快。一方面，据彭博社最新报道，苹果收购了一家来自加拿大专门研究基于视觉技术的 AI 初创公司 DarwinAI。虽然苹果及 DarwinAI 尚未...
多模态大语言模型和 Apple 的 MM1
安静的软件工程师
05-03 1480
多模态大语言模型和 Apple 的 MM1
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 2898
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
mm1排队模型matlab,基于排队论mm1m模型的仿真，代码和出现问题如正文
weixin_39640090的博客
03-18 1030
%%%基于排队论mm1m模型的仿真，五种业务，五种不同的到达率和服务率，运行结果：五种业务被服务的客户总数与member对应统计的不相符，%还请熟悉matlab编程的高手帮忙找找问题所在，小妹不胜感激%%clear all;close all;clc;%%% 初始参数设置：sim_time = 50; %总仿真时间m = 5; %缓存队列最大长度%可能到达的顾客数arr...
【LLM多模态】CogVLM图生文模型架构和训练流程
发现问题，并解决问题，批判性思维
03-24 5395
Cogvlm模型共包含四个基本组件：ViT 编码器，MLP 适配器，预训练大语言模型（GPT-style）和视觉专家模块。 - ViT编码器：在 CogVLM-17B 中，采用预训练的 EVA2-CLIP-E。也就是上图将图片进入vit encoder编码。在CogVLM-17B中，移除了ViT编码器的最后一层，因为该层专注于整合[CLS]特征以用于对比学习。 - MLP 适配器：MLP 适配器是一个两层的 MLP（SwiGLU），用于将 ViT 的输出映射到与词嵌入的文本特征相同的空间。注：所有的图像特
苹果大模型论文MM1:Methods,Analysis & Insights from MultimodalLLM Pre-tr
03-15
苹果最新发布的MM1模型是一款高性能的多模态大型语言模型（MLLM），其参数量高达30亿个。该模型通过综合考虑多种架构组件和数据选择的重要性，展示了在大规模多模态预训练中的出色性能。MM1不仅在预训练指标上达到了...
苹果MM1: Methods, Analysis&Insights from Multimodal LLM Pre-traini
03-16
苹果公司的MM1研究展示了如何通过精细的数据选择和模型设计来构建高性能的多模态大模型。这一研究成果不仅为学术界提供了宝贵的经验和教训，也为未来多模态人工智能技术的发展指明了方向。随着技术的进步，我们有...
排队论模型程序mm1.zip_mm1排队论模型_mm1模拟程序_排队M_排队模型_排队论mm1
09-24
《排队论模型程序mm1.zip》是一个专门针对排队论中的m/m/1模型设计的模拟程序，该程序允许用户输入特定参数，以便分析和理解排队系统的性能。在信息技术领域，排队论是运筹学的一个分支，它研究的是随机服务系统中...
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1422
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 2033
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
专注MarTech应用研究与实施方案
09-17 960
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
文档内容识别系统源码分享
xuehaishijue的博客
09-17 1684
数据集信息展示在当今信息爆炸的时代，文档内容识别系统的有效性和准确性愈发重要。为了提升YOLOv8在文档内容识别任务中的表现，我们采用了名为“FULL 2”的数据集进行训练和评估。该数据集专为文档图像的多样性和复杂性而设计，涵盖了多种类别的文本元素，使其成为优化深度学习模型的理想选择。
介绍一下常用的激活函数？
最新发布
GamBleout的博客
09-19 552
死神经元：当神经网络中的某些神经元在训练过程中始终不被激活，即其输出值始终接近于零，这些神经元就被称为“死神经元”。与Sigmoid函数类似，也存在梯度消失问题，但相对于Sigmoid函数，其输出范围更大，有利于梯度的传播。Leaky ReLU是ReLU的一个变体，在输入为负时给予一个小的非零斜率，避免了“死神经元”问题。在正区间内解决了梯度消失问题，但在负区间内梯度为0，可能导致“死神经元”问题。将一组数值转换为概率分布，即所有输出的和为1，且每个输出都在(0,1)之间。当输入为负时，输出为0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

铃灵狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值