2024-WK35-前沿技术动态

一、人工智能

1、AI应用

夸克PC端上线Windows和Mac系统，打造AI生力工具

1. 夸克PC端为Windows和Mac用户提供，主要功能包括AI加速的搜索和内容生成；

2. 用户界面设计为三栏式，强化视觉展示效果，支持多模态信息呈现和问题的即时回顾；

3. 夸克PC端扩展了电脑使用的范围，包括文档写作、PPT制作和文件总结，大力提高工作和学习效率。

更多：https://mp.weixin.qq.com/s/CM3e6HI33qz6UhKA05xi2A



亚马逊用Amazon Q 升级软件，节省“4500 名开发一年的工时”

1. Amazon Q 大幅缩短了软件升级时间，将 Java 17 升级时间从50人天缩短到几小时，节省了4500名开发者一年的工时；

2. Amazon Q 的代码生成准确率高达79%，提高了安全性，减少了基础设施成本，每年增效价值估计达2.6亿美元；

3. 尽管早期存在问题，Amazon Q 仍在改善开发流程，并计划进一步扩展其功能，预期将从根本上改变编程任务的定义。

更多：https://mp.weixin.qq.com/s/8G5w28DHTGHHQlctrk-ARA



2、多模态

Meta将Transformer和Diffusion融合，实现了文本与图像生成的统一

1. Meta的Transfusion模型整合了Transformer和Diffusion技术，实现了文本与图像生成的统一；

2. 该模型在混合模态序列上训练，利用语言建模和图像扩散的优势，提高了模态之间的整合效率；

3. Transfusion在多模态AI领域表现出色，具备生成高质量文本和图像的能力，并可能引领多模态交互式应用的发展。

更多：https://mp.weixin.qq.com/s/MXlrZHMXZiG_thB9Qb3iFQ



3、视觉模型

Meta推出全新视觉模型Sapiens，专为理解人类视觉而设计

1. Sapiens模型专为理解人类视觉设计，优化四大关键视觉任务：二维姿势预估、身体部位分割、深度估计、表面法线预测；

2. 模型结构包括共享编码器和任务特定解码器，支持1K高分辨率，适用于细节要求高的场景；

3. 预训练于3亿张人类图像，展现出色泛化能力，特设Sapiens-Lite版优化推理速度，便于环境部署。

更多：https://mp.weixin.qq.com/s/nkh-EuglYgADmnfHcIc59g



4、图像生成模型

MUMU，综合运用文本、图像引导的高指向多模态图像生成模型

1. MUMU是基于SDXL的多模态图像生成模型，结合文本和图像引导，使用Idefics2视觉语言模型，提升了生成图像的准确性；

2. 模型使用300万张合成图像和200万张高质量真实图像进行训练，通过增加图像token和高分辨率人脸裁剪，优化图像质量；

3. MUMU在测试中表现优于ChatGPT + DALLE-3，能更好地保留条件图像的细节，生成更符合用户预期的图像。

更多：https://mp.weixin.qq.com/s/P3vuRhWrRMEggYes2Ts-Sw



5、开源

RTX3090可跑，360AI团队开源最新视频模型FancyVideo

1. FancyVideo是360AI团队与中山大学联合研发的开源视频生成模型，基于UNet架构，可在RTX3090上生成任意分辨率、风格和运动性的高质量视频；

2. 模型引入了跨帧文本引导模块（CTGM），通过时序信息注入、特征提取和增强，实现更好的文本一致性和运动控制，显著提升视频生成效果；

3. FancyVideo支持T2V和I2V功能，能够进行视频扩展和回溯，并计划推出更长视频的开源版本和网页版本供免费使用。

更多：https://mp.weixin.qq.com/s/_Njlo7D1YogSpr8nK_p_Jg



二、算力/芯片

英伟达Blackwell芯片与谷歌、AMD同场竞技，称霸MLPerf！

1. Blackwell架构在MLPerf测试中表现卓越，相较H100，在Llama 2 70B上性能提升4倍，对GPT-MoE模型性能提升达30倍；

2. Blackwell通过使用FP4精度和提升内存带宽至8TB/s，显著提高推理效率，并通过NVLink技术支持大规模扩展；

3. H200 GPU借助HBM3e内存技术和软件优化，在多个AI任务中性能提升显著，边缘推理的吞吐量提高至6.2倍。

更多：https://mp.weixin.qq.com/s/qWlSi8BTdPTzsNz9QGjV6Q



GPU推理时代终结？Cerebras发布全球最快AI推理系统

1. Cerebras推出的全球最快AI推理架构，采用自研第三代Wafer Scale Engine芯片，推理速度提升至1800 token/s，是英伟达GPU的20倍；

2. 高性价比，Llama3.1 8B每百万token仅需10美分，Llama 3 70B每百万token仅需60美分，显著低于行业其他竞争者；

3. 保持原始16位模型权重，实现高精度推理，无需降低模型权重精度，提供了高速度和高准确性的推理服务。

更多：2024-https://mp.weixin.qq.com/s/6H7c4Of_MkifUWetGgdipg