AIGC 算法与实践
文章平均质量分 93
研究 AIGC 系列模型(ChatGPT、Stable Diffusion、DALL-E 等)背后算法原理,以及具体实践方法
Gene_INNOCENT
Wait for the sunrise!
展开
-
大型语言模型 (LLM) 的两条发展路线:Finetune v.s. Prompt
在大型语言模型的研究中,研究者对其有两种不同的期待,也可以理解为是两种不同的路线,具体来说:- 期待一:成为专才,解决某类特定任务(翻译、获取摘要)- 期待二:成为通才,给定指令(Prompt),即可完成对应任务 - 最早的该方向研究,认为所有 NLP 任务都可以变成问答任务,由此统一所有任务原创 2023-04-14 19:38:53 · 1925 阅读 · 4 评论 -
生成式 AI 分析:大模型 + 大量数据的神奇效果
下图是模型性能(Loss for next token prediction)与「参数量」和「数据集大小」之间的关系,可以看出随着「参数量」和「数据集大小」不断变大,模型性能不断增强,仿佛不会遇到瓶颈。原创 2023-04-02 21:34:54 · 4985 阅读 · 1 评论 -
生成式 AI 背后的共同框架:Stable Diffusion、DALL-E、Imagen
生成器的内部框架如下所示:- 第一部分:Text Encoder,输出 Text,返回对应的 Embedding(向量);- 第二部分:Generation Model,输入为 Text 的 Embedding 与一个随机生成的 Embedding(用于后续的 Diffusion 过程),返回中间产物(可以是图片的压缩版本,也可以是 Latent Representation);- 第三部分:Decoder,输入为图片的压缩版本,返回最终的图片。原创 2023-04-02 18:41:26 · 2634 阅读 · 0 评论 -
ChatGPT 各类 Prompt 整理
如果你对这篇文章感兴趣,可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」,查看完整博客分类与对应链接。原创 2023-03-29 14:23:14 · 11631 阅读 · 1 评论