每日AIGC最新进展(51)：昆仑万维震撼发布16B DiT-MoE图像生成模型、东北大学提出使用去噪神经权重进行高效训练、美团提出视频扩散模型量化方法

已于 2024-07-18 16:45:03 修改
阅读量777 收藏 5
点赞数 17
分类专栏： Diffusion Models与深度学习 文章标签： AIGC 人工智能 扩散模型 深度学习
于 2024-07-18 11:24:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/140518059
版权

Diffusion Models专栏文章汇总：入门与实战

Scaling Diffusion Transformers to 16 Billion Parameters

本文介绍了DiT-MoE，一种可扩展的稀疏变分Transformer模型，它在保持与密集网络竞争力的同时，实现了高度优化的推理。通过共享专家路由和专家级平衡损失设计，DiT-MoE捕获了共同知识并减少了不同路由专家之间的冗余。

DiT-MoE通过将DiT中的部分密集前馈层替换为稀疏MoE层，实现了条件计算。每个图像块的标记被路由到一组专家

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-20 6627
使用Qwen1.5-MoE-A2.7B，体验更快的推理速度
LLaMA Factory单机微调的实战教程
热门推荐
herosunly的博客
04-24 12万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
结构之法 算法之道
08-05 1万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
轻量级MoE模型DeepSeek-V2-Lite: 16B参数，2.4B活跃参数，40G可部署，高效的MoE模型
nulifancuoAI的博客
05-21 2503
近年来，大型语言模型（LLM）在自然语言处理领域取得了突破性进展。然而，随着模型参数量的不断增加，训练和部署成本也随之大幅提升，阻碍了LLM的广泛应用。为了克服这一挑战，混合专家模型（MoE）应运而生，它通过将模型拆分成多个专家并根据输入选择激活不同的专家来降低计算成本。DeepSeek-V2-Lite模型作为DeepSeek-AI团队最新发布的MoE模型，凭借其轻量级设计和高效的性能，为MoE模型研究和应用开辟了新的方向。Huggingface模型下载：AI快站模型免费加速下载：
神经网络组件详解-MoE混合专家模型
tdzhqxy的博客
04-15 2737
MOE：Mixture of Experts，可以简单理解为“”组成的神经网络。如Google 的论文中提出的一种MOE结构，通过进行，然后选择对应的。
一文通透DeepSeek-V2(改造Transformer的中文模型)：详解MoE、GRPO、MLA
结构之法 算法之道
08-26 5044
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
LLMs之Baichuan：Baichuan-7B/13B模型的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-13 9012
​ LLMs之Baichuan：Baichuan-7B/13B模型的简介、安装、使用方法之详细攻略 目录 Baichuan-13B模型的简介 Baichuan-13B模型的安装 Baichuan-13B模型的使用方法 Baichuan-13B模型的简介 Baichuan-13B 是由百川智能继Baichuan-7B之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最
【网安AIGC专题10.19】论文6（顶会ISSTA 2023）：提出新Java漏洞自动修复数据集：数据集 VJBench+大语言模型、APR技术+代码转换方法+LLM和DL-APR模型的挑战与机会
定期分享我的发现和想法，感谢你的陪伴和支持
10-25 7623
安全漏洞修复的两种方向（1）LLM，已对源代码预训练，用于代码补全等任务（2）基于深度学习的自动程序修复APR1）漏洞修复的需求平均修复漏洞的时间（从发现到修复）应在60到79天之间。强调了及时应对漏洞的重要性，以降低潜在的安全风险。修复的漏洞修复必须被证明是充分有效的，不能存在后续漏洞。2）Java漏洞修复方向需求Java广泛用于关键服务器应用，包括Web服务器和服务。这使得Java漏洞修复至关重要，涉及敏感数据和关键功能。
代码生成的原理解析：从Codex、GitHub Copliot到CodeLlama(用了NTK-aware)、CodeGeex
结构之法 算法之道
12-04 9289
我们在这篇文章《》中的2.5节有提到，“2021 年7月，OpenAI发布Codex的论文《》，其中初始的Codex是根据120亿参数的GPT-3变体进行微调的，且通过对159GB的Python代码进行代码训练，后来这个120 亿参数的模型演变成OpenAI API中的code-cushman-001，具备较强的代码/推理能力”接下来，我们来看下Codex背后的原理到底是怎样的，即其是如何一步一步训练出来的。
PyPI 官网发布最新Python库：autogluon-0.0.16b***
资源摘要信息:"PyPI 官网下载 | autogluon-0.0.16b***.tar.gz" 知识点： 1. PyPI官方资源下载：PyPI是Python Package Index的缩写，即Python包索引。它是Python的一个软件仓库，包含了成千上万个由社区贡献的...
【AI Code】CodeGeex：你的免费AI编程助手——基于清华ChatGLM的130亿参数预训练大模型
AI天才研究院
04-12 2万+
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现，在鹏城实验室“鹏城云脑II”中的192个节点（共1536个国产昇腾910 AI处理器）上训练而成。截至2022年6月22日，CodeGeeX历时两个月在20多种编程语言的代码语料库（>8500亿Token）上预训练得到。高精度代码生成。
AIGC：人工智能生成内容的未来
酷酷的伟的博客
11-06 1129
AIGC是利用人工智能技术自动生成各类内容的技术，涵盖文本、图像、音频和视频等形式。核心技术包括生成对抗网络、变分自编码器和自然语言处理模型，如GPT系列。AIGC广泛应用于新闻生成、广告创意、艺术创作、教育等领域，显著提高了内容创作的效率与个性化。尽管如此，AIGC面临诸多挑战，如版权问题、内容多样性与质量的保障、深度伪造的伦理风险等。未来，AIGC的跨模态生成和多任务学习将成为新的发展方向。随着技术的不断成熟，AIGC将深刻影响内容生产和创意产业，成为数字化时代的重要驱动力
AIGC专栏17——EasyAnimate V5版本详解 应用MMDIT结构，拓展模型规模到12B 支持不同控制输入的控制模型
Bubbliiiing的学习小课堂
11-11 3571
前段时间开源了CogVideoX-Fun，学习了很多CogVideoX的代码与思想理念，发现EasyAnimate之前的版本存在非常多不合理的地方，比如说embedding的添加方式、模型规模等。在这个基础上我们开发了EasyAnimateV5，提升了EasyAnimate系列的模型生成能力。另外，筛选了一大批不同控制条件的视频，训练了带有不同控制能力的EasyAnimateV5模型。
丹摩征文活动｜AIGC实践-基于丹摩算力和Llama3.1实现私有化部署的Chatbot
踏雨歌青春，诗酒趁年华
11-11 840
本文介绍了如何利用丹摩算力平台和 Llama 3.1 开源模型打造属于自己的 Chatbot。通过选择 Llama 3.1 的 8B 版本，在 Ubuntu 环境中配置 GPU 云实例，安装所需依赖，下载预制模型，并使用 Streamlit 构建 Web 应用，实现了一个功能完善的智能对话机器人，展示了开源大模型在实际应用中的强大潜力与灵活部署能力。
AIGC Agent（智能体）应用开发高级工程师实战培训 —— 线上8周系统教学课程学习路线图
最新发布
孔壹学院
11-12 353
适合大学生、企业老板、职场人士、设计人员、开发人员、销售人员、大学老师和科研人员。课程结束后，您将具备独立设计、开发、优化智能体的能力，胜任AIGC领域的核心岗位。通过这门课程，您将系统学习AIGC技术，掌握智能体开发全流程，并具备独立构建AIGC智能体服务的实战能力。：掌握知识管理与问答助手的开发，实现高效信息管理与响应。：综合应用多种智能体功能，掌握整合与性能优化的高级技巧。：掌握文本生成的基础概念与提示词设计技巧。：开发提升品牌宣传与用户情感连接的智能体。：掌握数据处理、分析与质检的智能体应用。
【AIGC】2017-NIPS-神经离散表征学习
weixin_42475026的博客
11-11 728
在没有监督的情况下学习有用的表示仍然是机器学习的一个关键挑战。在本文中，我们提出了一个简单但功能强大的生成模型来学习这种离散表示。我们的模型，矢量量化变分自动编码器（VQ-VAE），与 VAE 在两个关键方面有所不同：编码器网络输出离散代码，而不是连续代码；先验是学习的，而不是静态的。为了学习离散潜在表示，我们结合了矢量量化（VQ）的思想。使用 VQ 方法允许模型规避 “后验崩溃” 问题 - 当潜在表示与强大的自回归解码器配对时，它们会被忽略 - 通常在 VAE 框架中观察到。
Python酷玩之旅_aigc文生图模型入门（通义万相）
splendid_java的专栏
11-07 2189
博主最近一直使用阿里的文生图模型（通义万相），生成一些图片。这个模型的用途，可通过阿里云官网的模型服务（MaaS），略窥一二：通义万相-文本生成图像是基于自研的Composer组合生成框架的AI绘画创作大模型，能够根据用户输入的文字内容，生成符合语义描述的多样化风格的图像。通过知识重组与可变维度扩散模型，加速收敛并提升最终生成。如果你感兴趣，可直接通过官网（快捷方式）查看相关内容。接下来，我们直接快速的切入本文主题吧。
浅谈大模型AIGC理解，应用，前景
weixin_42267411的博客
11-11 337
浅谈大模型AIGC理解，应用，前景
【AIGC半月报】AIGC大模型启元：2024.11（上）
LeeZhao的博客
11-08 781
【AIGC半月报】AIGC大模型启元：2024.11（上）
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值