不精，不诚，不足以动人

AIGC图像生成相关练习、项目

涵盖了大型语言模型的类型，帮助你直观理解它们的局限性和能力、推理和解码的超参数设置，以及如何进行有效的提示工程。在这节课中，将教你如何构建一个用于微调大型语言模型并进行检索增强生成的相关且高质量的数据集。在本项目中，你将应用本课程中的所有知识，使用你选择的数据集创建一个自定义的聊天机器人。在调用大模型的API回答用户的问题时，先在本地使用检索增强生成（RAG）技术，即把用户的问题与最近年限的数据集知识进行相似度检测，然后将相似度最高的那个知识作为用户问题的上下文信息，一起传给大模型API。

项目源文件：https://github.com/ritvij-saxena/udacity-gen-ai-nanodegree/blob/main/LightweightFineTuning_completed.ipynb个人总结：本大项目就是自己选个语言模型、选个数据集、选一种peft微调方法、然后对比一下预训练模型和经过peft微调后的模型在改数据集下的效果差距。源文件中的方法选择：以上3个库，全部隶属于HuggingFace。目的：基于 Hugging Face 的 库，使用 LoRA（Low-R

这个文档主要讲解了（Distributed Training），特别是如何在多GPU上训练大规模的语言模型。

本次课主要探讨了如何通过优化Attention机制来减少计算开销和内存使用，从而加速Transformer模型的推理过程。Flash Attention通过分块计算减少了内存使用，而Multi-Query Attention通过共享查询和键值对提升了推理效率。这些技术在大模型的推理中尤其重要，能够显著提升模型的实时性和计算效率。

这个文档是关于背景与动机上一节课讨论了大规模语言模型（如GPT-3和GPT-4）随着规模的增大，在训练和推理上的一些优劣点。大模型具有更强的容量和更快的收敛速度，但在推理时成本较高。本次课的目标是通过模型来减少推理成本，使模型在推理时只激活少量的权重，从而提高效率。Mixture of Experts 的定义MoE层包含多个专家（M个专家），通过一个称为"top-k routing"的机制进行专家选择。

这份讲义主要讲解了，即大规模语言模型的扩展规律，解释了如何根据模型大小和计算资源需求来优化训练过程。

这份讲义主要讲解了的核心概念及其应用，涉及人工智能系统如何处理图像和文本输入并生成输出。人工通用智能 (AGI) 应该能够处理多种形式的输入与输出，包括音频、视频、图像、文本等。VLM 是专注于图像和文本混合输入，输出主要是文本，但也有可能生成图像。标准文本转换器通过将输入的文本转化为一系列的 tokens，然后使用 Transformer 模型处理这些 tokens。VLM 的不同之处在于它不仅能处理文本，还可以处理图像。

lec13主要讲述了文本到图像生成的各种模型，重点关注潜在扩散模型（Latent Diffusion Models, LDM）。文本到图像生成模型的历史发展：提供了文本到图像生成技术的发展时间线，并介绍了从GAN到自回归模型和扩散模型的演变。GAN模型：讨论了文本到图像生成的GAN模型，包括类别条件GAN的工作原理。自回归模型：介绍了Parti（Pathways Autoregressive Text-to-Image）模型的工作机制，将图像生成视为一个序列到序列的问题。扩散模型。

这份文件是CMU机器学习课程（10-423/10-623 Generative AI）的第12次讲座，主要内容包括指令微调（Instruction Fine-tuning）和人类反馈强化学习（Reinforcement Learning with Human Feedback，RLHF）两个部分。

该文件主要介绍了“参数高效微调（Parameter Efficient Fine-Tuning, PEFT）”在深度学习中的应用，尤其是如何在大规模预训练模型（例如大型语言模型和视觉Transformer）上实现高效的微调。PEFT的背景与定义：讨论了在对大型预训练模型进行微调时，传统的全参数微调方法在计算和内存方面非常昂贵，尤其是当模型参数数量非常大时。因此，PEFT旨在以更少的参数实现与全参数微调相当的性能。少样本学习（Few-shot Learning）

该文件主要内容涵盖了**In-context Learning（ICL）**的概念，讲解了零样本学习（Zero-shot Learning）、少样本学习（Few-shot Learning）、提示工程（Prompt Engineering）等主题。零样本学习与少样本学习（Zero-shot and Few-shot Learning）零样本学习：训练数据中没有任何包含测试数据标签的样本，模型需要从未见过的标签中进行推断。少样本学习。

Diffusion Model严格意义上最早源于2015年的《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》，但如下这篇论文才真正将Diffusion Model效果发扬光大，有点类似2013年的alexnet网络和1998年的lenet-5网络感觉。全称：时间：2020年作者人数：3人，加州伯克利大学论文地址：优缺点优点：生成图像的效果非常惊艳，超越VAE、生成式对抗网络等方法，SOTA级别。

时间：2013.12论文：Auto-Encoding Variational作者：荷兰阿姆斯特丹大学，2人成就：ICLR 2024首个时间检验奖获奖评语：概率建模是对世界进行推理的最基本方式之一。这篇论文率先将深度学习与可扩展概率推理（通过所谓的重新参数化技巧摊销均值场变分推理）相结合，从而催生了变分自动编码器 (VAE)。这项工作的持久价值源于其优雅性。用于开发 VAE 的原理加深了我们对深度学习和概率建模之间相互作用的理解，并引发了许多后续有趣的概率模型和编码方法的开发。

本讲主要是为后续讲扩散模型（Diffusion Models）做铺垫。介绍了U-Net语义分割网络，以及无监督学习的基本假设、目标和一些经典的生成模型：自回归语言模型（GPT）、生成式对抗网络、扩散模型。最后初步介绍了扩散模型。这份讲义详细阐述了变分自编码器（VAE）的基础概念、结构和实际应用。通过变分推断和重参数化技巧，VAE能够有效地进行无监督学习，并生成高质量的图像或文本。

本讲主要介绍生成式对抗网络（1-24页），还介绍了有向图模型、马尔可夫模型、无向图模型等内容（36-65页）。阅读材料是Ian Goodfellow的GAN论文以及作者自己写的教程性论文GAN Tutorial（57页）。快速了解GAN原理可以看我之前写的生成式对抗网络博客（内容源自优达学城中的代码）：https://blog.csdn.net/weixin_42118657/article/details/120284204。

介绍了CV一些常见任务领域介绍了transformer中encoder层和decoder层中attention的区别，举了仅用encoder层架构的模型bert、VIT模型例子介绍图像生成领域本讲有2篇阅读材料：一个是bert论文（2018年10月），一个ViT论文（2021年）。全称：时间：2018年10月作者人数：4人，谷歌论文地址：简短总结。

1在“Programming: RoPE and GQA”部分，主要任务是通过结合RoPE（旋转位置嵌入）和GQA（Grouped Query Attention，分组查询注意力）这两种机制，改进现有的GPT模型，并观察这些改进对模型性能的影响。以下是对RoPE和GQA的介绍：RoPE是一种相对位置嵌入方法，用来取代传统的绝对位置嵌入。在传统Transformer中，位置信息通过将位置嵌入直接加到输入的词向量中进行传播。而RoPE直接在每一层注意力计算中引入相对位置信息，旋转每个查询和键向量的一部分来嵌入这

备注：S24版GitHub上有某CMU学生分享了自己的全套理论+编程作业，以下内容的整理结合了我自己的理解查阅、GPT4的解答、以及CMU学生的答案。这次作业主要围绕生成式文本模型，具体包括以下几个部分：构建递归神经网络（RNN）用于语言建模，解答与RNN递归方程相关的数值问题，讨论双向RNN能否用于自回归语言模型。Transformer语言模型 (15分)：滑动窗口注意力 (8分)：编程题：RoPE与GQA (24分)：题目大意如下：1.1 (3 分) 数值问题：考虑一个 RNN (Elman 网络)，其

比较详细的研究了RoPE, GQA等现代大模型中的技术