支付宝开放平台-开发者社区——AI 大事记「第五期」

最新推荐文章于 2024-10-02 00:23:27 发布

支付宝官方开放平台

最新推荐文章于 2024-10-02 00:23:27 发布

阅读量582

点赞数 21

文章标签：人工智能 python java c++ AIGC c语言 github

本文链接：https://blog.csdn.net/2401_85476653/article/details/141191486

版权

你告诉我什么是真的？！（请手动脑补关晓彤表情包）最近Flux的爆火，简直把所有人的三观都撼动了。

AI生图工具Flux，俨然已经掀起了全网的风暴。这张情侣写真逼真、细腻，打光、纹理、毛发，都是挑不出破绽的程度。视频、声音、口型，AI的进化越来越完美了！

作者表示，自己的目的并不只是创建网红，而是制作自动化广告、YouTube、TikTok视频、教学视频、营销、讲解课程等等。

甚至当AI达到足够快时，它就能达到实时生成，FaceTime AI朋友或者AI治疗师都有望成真。

OpenAl的「草莓」项目备受关注，尽管具体细节尚未公开，但其竞争对手 Perplexity Al 已展示具备类似「草莓」能力的新模型。

perplexity Al 的CEO Aravind Srinivas 通过在线演示展示了其 Al 的逐步思考能力，如成功解答「草莓覆盖火星」的问题。

Perplexity Al的月度收入和使用量自年初以来增长了7倍，目前已完成 2.5 亿美元的新一轮融资，其商业模式正从订阅转向广告，与谷歌等展开竞争。

尽管Al 生成错误信息的风险存在，但Perplexity Al 正努力提高 Al 的可靠性，以适应主流使用。

来自：新智元｜阅读原文

特点：

科普小课堂：

问：当前多模态能力比较强的模型有哪些？

答：

智谱·AI 的 CogAgent-18B：基于 CogVLM-17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 1120*1120 分辨率的图像理解，具备 GUI 图像的 Agent 能力。
X-LLM：扩展到包括音频在内的各种模式，并表现出强大的可扩展性。
VideoChat：开创了一种高效的以聊天为中心的 MM-LLM 用于视频理解对话。
InstructBLIP：基于预训练的 BLIP-2 模型进行训练，在 MM IT 期间仅更新 Q-Former。
PandaGPT：能够理解 6 种不同模式的指令并根据指令采取行动。
PaLI-X：使用混合 VL 目标和单峰目标进行训练。
Video-LLaMA：引入了多分支跨模式 PT 框架，使 LLM 能够在与人类对话的同时同时处理给定视频的视觉和音频内容。
视频聊天 GPT：专门为视频对话设计的模型，能够通过集成时空视觉表示来生成有关视频的讨论。
Shikra：专为参考对话而定制的简单且统一的预训练 MM-LLM，展示了值得称赞的泛化能力。
DLP：提出 P-Former 来预测理想提示，并在单模态句子数据集上进行训练。
BuboGPT：通过学习共享语义空间构建的模型，用于全面理解 MM 内容。
ChatSpot：引入了一种简单而有效的方法来微调 MM-LLM 的精确引用指令。
Qwen-VL：一个多语言 MM-LLM，支持英文和中文，还允许在训练阶段输入多个图像。

话题讨论：

开发者话题讨论：

获奖规则：