zik的博客

CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。

一、ReLU（Rectified Linear Activation Function）1、优点2、缺点3、补充1.Leaky ReLUs2.参数化修正线性单元（PReLU）3.随机纠正线性单元（RReLU）二、Sigmoid1、优点2、缺点三、Tanh（hyperbolic tangent）四、Sigmoid 和 Tanh 激活函数的局限性五、softmax（归一化指数函数）1、将预测结果转化为非负数2、各种预测结果概率之和等于13、例子六、pipeline

然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。在右边的等式中的字母f(Q11)、f(Q12)、f(Q21)、f(Q22)、x1、x2、x都是已知的，求出的f(x,y1)与f(x,y2）即为R1、R2的像素值。那么就从左上角到右下角，生成卷积之后的矩阵的大小是(5-3+1)*(5-3+1)的矩阵，生成之后的矩阵的元素值，是之前的两个矩阵对应元素的乘积之和；在右边的等式中的字母y1、y2、y都是已知的，f(x,y1)与f(x,y2）即为上一个式子中求出的R1、R2像素值。

看Abstract写的怎么样需要讲清楚它解决什么问题？它的贡献是什么？然后它的效果好不好？这三个都要写，如果有些时候他没有把这三个东西讲出来的话，基本上这个文章后面可能也不怎么的。（做一些笔记记录到PPT上）

【Paper】【Code】本文提出了一个专门用于换脸领域的身份编码器，能够解决ArcFace中存在的attribute biasesBlendFace 背后的关键思想是在混合图像上训练人脸识别模型，将其属性替换为其他图像的属性，以减轻人际偏差（例如发型）。（即一个身份的不同图像之间发型大概率是关联的，混合的目的是将该身份的人脸换到另一个背景中，从而换掉发型，去除了这种人际偏差。

【Paper】【Code暂无】这项工作的贡献是三重的。首先\textit{首先}首先，我们设计了 Face-Transformer，这是一个创新网络，通过将 Transformer 引入到换脸任务中来实现精确的换脸。转换器学习源面部和目标面部之间的语义感知对应关系，这有助于从源面部到目标面部的特征顺利转移。据我们所知，这是第一个为换脸任务引入 Transformer 架构的工作。第二\textit{第二}第二。

【Paper】【Code】【Project】论文贡献：(1)引入了V2V面部交换，这是一种新颖的面部交换任务，旨在交换源面部身份和表情，同时保留目标背景和姿势。(2) 提出 FaceOff：一种以自我监督方式训练的 V2V 换脸系统。FaceOff 通过合并两个不同的面部视频来生成连贯的视频。(3) 该方法在推理时直接作用于没见过的身份，无需任何微调。(4) 该方法不需要任何推理时间优化，推理时间不到一秒。(5)发布了V2VFaceSwap测试数据集，并为V2V换脸任务建立了基准。

【Paper】> PyTorch版【Code】> 官方TensorFlow版【Code】本篇博客是StyleGAN原始论文的中文版精读，帮助全面深入理解StyleGAN。首先StyleGAN灵感来自style transfer literature。改进是基于Progressive GAN(ABCDEFStyle mixing见3.1节。加噪声添加随机性见3.2节。

【Paper】> PyTorch版【Code】> 官方TensorFlow版【Code】补充材料见StyleGAN正文精读在【StyleGAN论文精读CVPR_2019】A Style-Based Generator Architecture for Generative Adversarial Networks。

【Paper】> 官方TensorFlow版【Code】> Pytorch版【Code】【Project】本篇博客是StyleGAN2论文的中文精读，望于大家全面理解StyleGAN2生成器有一定的帮助。首先，由于AdaIN操作会产生水滴状伪影，解决方案是重新设计normalization归一化步骤。详细见图2。

【Paper】【Code】【Project】附录包含的主要内容和值得关注的重点：1.

Simian Luo, Yiqin Tan, Longbo Huang, Jian Li, Hang Zhao清华大学交叉信息科学研究所潜在扩散模型（LDMs）在合成高分辨率图像方面取得了显着的成果。然而，迭代采样过程计算量大，导致生成速度慢。受一致性模型（Song et al., 2023）的启发，我们提出了潜在一致性模型（LCMs），能够在任何预训练的 LDMs 上以最少的步骤进行快速推理，包括稳定扩散Stable Diffusion（Rombach et al., 2022）。将引导反向扩散过程

在本节中，我们提供了一个关于我们在像素空间和潜在空间扩散模型中实现的加速的概述表(见表3)。我们还提供了来自文本引导的图像生成模型的额外样本，并与图13和图14中的DDIM[38]、DPM[17]和DPM++[18]求解器进行了比较。我们在附录B中提供了更多关于像素空间蒸馏的实验细节，在附录C中提供了潜空间蒸馏的实验细节。我们使用的模型体系结构是一个U-Net模型，类似于[6]中使用的模型。如[33]中所讨论的，对模型进行参数化以预测v。我们使用与[6]相同的训练设置。我们使用的模型体系结构是一个U-Net

【Paper】【Code】能够蒸馏无分类器引导的扩散模型。分为两阶段蒸馏，第一阶段用一个学生模型匹配无分类器扩散模型的输出xθwzt1wxcθzt−wxθztxθw​zt​1wxcθ​zt​−wxθ​zt​；为了引入制导权重www，这里提出了一个www-conditioned model其中www作为学生模型的输入。为了更好地捕获特征，将傅立叶嵌入应用于www。

【Paper】【Code】暂无>【Project】暂无首先，本文用来训练了一个身份嵌入器，以promoting a smoother space。与trained for a purely discriminative task的Arcface身份提取器特征不同。然后生成器基于的是noise conditional score network(NCSN++)，也就是扩散模型！设计的损失函数就三个，非常简单。架构上面修改的两个。

【Paper】【Code】【Project】首先需要明确的是这篇工作是一个Face Generation and Editing工作，其利用预训练的单模态扩散模型，而无需重新训练。其次，提出了由Unet实现的动态扩散器，它预测空间和时间变化的影响函数，在每个迭代步骤上有选择地增强或抑制给定模态的贡献。使用的是Stable Diffusion即LDM。扩散模型是最近兴起的一种强大的生成工具。

微调实际上是利用大型预训练的语言模型(LMs)来执行下游任务的方法。但是，它会修改所有的语言模型参数，因此需要为每个任务存储完整的副本。在本文中，我使用了Prefix-Tuning在T5模型上对文本分类任务进行微调，这是对LMs进行全参数微调的一种轻量级替代方案，它保持LMs参数不变，但优化了一个小型的连续任务特定向量(称为前缀)。首先本文对预训练模型Fine-tuning和文本分类任务进行了一个简要的介绍。其次分别给出了预训练模型Fine-tuning和文本分类任务相关工作回顾及分析。

换脸是将一张脸的身份（肤色、面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴等）与另一张脸的非外观属性（表情、头部姿势、光照、图像分辨率、注释方向、头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域）相结合，生成合成人脸。

【Paper】【Code】暂无>【Project】暂无。感觉效果一般，还有很大的改进空间。本文提出了一种基于扩散模型的高保真可控人脸交换框架DiffSwap。以往的工作依赖于精心设计的网络结构和损失函数来融合来自源人脸和目标人脸的信息，我们将人脸交换重新定义为一个有条件的修复任务，由一个强大的扩散模型执行，该模型由期望的人脸属性（如身份和landmarks).）指导。将扩散模型应用于人脸交换中的一个重要问题是，在训练过程中不能进行耗时的多步采样来获得生成的图像。

大规模的文本去重是目前比较热门的一个技术，由于大模型的兴起，更多的高质量数据集也是大家迫切需要的。关于如何进行文本去重？直观的方法首先是利用Python正则表达式进行去重。推荐学习：1.re — 正则表达式操作2.正则表达式 - 教程然后是利用文本之间的相似度进行去重。这里主要讲第二种。推荐学习：1.张振虎大佬的博客2.Github的实现源码3.文本内容相似度计算方法：minhash4.Python的datasketch库中的MinHashLSHok！

摘要：\textbf{摘要：}摘要：本文提出了一种新的水印算法是一种图像认证的新方法。算法首先使用Logistic混沌映射加密水印图像，然后使用Arnold变换置乱水印。同时改变了水印图像的像素位置和像素值，大大提高了算法的安全性。再使用DCT变换嵌入水印，并且结合人类视觉系统的特点来提升水印嵌入的透明性。实验结果表明，本文提出的水印算法可以大幅度提高水印嵌入的透明性与安全性的同时，并不降低算法的鲁棒性。注：完整的代码和论文在文末，百度网盘链接。

setlength{\parindent}{0cm}%取消首行缩进\textbf{摘要：}本文简单利用了基于普通RNN、LSTM和加入atttention的LSTM的神经网络来完成指代消解任务。首先本文对指代消解任务进行了一个简要的介绍。其次分别给出了RNN、LSTM和加入atttention的LSTM的框图、机理分析以及测试分析。第三是对比三种模型训练时梯度消失的情况和在指代消解任务上的性能对比。最后关于此次实践作业做了一个总结。\textbf{关键词：}普通RNN;LSTM;

本次作业在多智能体粒子环境中的 `simple_spread` 协作任务中进行。粒子环境是由 OpenAI 开发的专用于多智能体强化学习的仿真环境，包括一系列不同场景的子任务，如多智能体竞争、合作、通信等不同的任务场景。在 `simple_spread` 任务场景中，有 3 个 Landmark (黑色小圆) 和 3 个 Agent (紫色大圆)，如下图所示：

从Diffusion Model到score-based generative models再到Consistency Models的介绍

GigaGAN 的实现，是Adobe 的新 SOTA GAN，其证明GAN仍然是文本生成图像的可行选择之一。在最近的DALL·E 2、Imagen、Stable Diffusion等等出现之后，相较于diffusion model和AR模型，GANs已经不被大家青睐，作者想证明一下大规模GAN模型在大数据集上的表现依然可行（make GAN great again)。并给出了GAN模型的卖点:1.更快的生成速度 2.生成高分辨率图片 3.平滑的内插和样式混合。

提出卷积的局限，将注意力机制与卷积结合，简单加attention到卷积的backbone会导致训练崩溃，这里有一些trick，用L2-distance代替原来attention logits的点积。十亿参数GigaGAN 的实现，是Adobe 的新 SOTA GAN，其证明GAN仍然是文本生成图像的可行选择之一。（这可以将图像金字塔上的低分辨率图像特征注入中间层的高分辨率图像）冻结CLIP图像编码器，从中间层提取特征，并通过一个3 × 3 conv层的简单网络对其进行处理，以做出真实/虚假的预测。

本文分享DiffFace，一种换脸的方法，在介绍全文的时候会在段末加入部分笔者的见解，希望对于论文的理解有一定的帮助。这是第一个将扩散模型应用于换脸任务的方法。在training stability，high fidelity和controllability方面都有一定的优势。在扩散模型训练时用了条件训练，采样时也用了条件引导采样，都是为了保存源脸的身份信息。目标脸的属性背景保存用的方法是target-preserving blending策略。扩散模型的训练和采样方法大多基于。

score-based generative models【公式推导+代码实战】简单的说，基于分数的模型是用随机微分方程SDE对数据进行连续的扰动。我们注意到，不论是DDPM，还是SMLD（不懂的看下文的1、介绍），它们都存在一个共同的特性：加噪过程和去噪过程都是离散化的，即他们按照时间步1～T离散采样。并且需要时间T 足够大，才可以保证我们最终加噪后的样本趋近于标准正态分布。事实上，这是一个随机的过程，SDE的思想是想将这个离散的随机控制过程连续化。

总的来说，Consistency Models速度的确特别快，也真的是一步成图，或许以后能够替代Diffusion Model火起来？

这篇博客首先分析VQGAN的论文方法，下期分享VQGAN的代码原理。VQGAN是StableDiffusion作者的前期论文，希望大家对于表征学习、GAN以及Transformer自回归建模（GPT）的理解有一定的帮助。首先是利用CNN(包括编码器和解码器)来学习一个有效的codebook来表示图片（VQVAE）。然而使用transformers将图像表示为潜在图像成分的分布，需要我们突破压缩的极限。

Stable Diffusion图像编码器和解码器基于VQGAN，然后用的扩散模型是，条件编码器用的是CLIP或者a domain specific encoder（如BERT），通过cross-attention融入到UNet中。采样过程用了DDIM加速和条件采样（UNet架构也是用的这个一样的）。其中VQGAN和CLIP是直接加载预训练模型，训练时只需要训练扩散模型。方法鸟瞰;

发表于2019年的NeurIPS。VQVAE的重要性就不谈了，学习latent diffusion model必须得了解这个。NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。

基于神经网络的，离散的表征学习本篇博客主要分析一个开源的VQVAE代码，帮助更好的理解VQVAE。注意代码有所修改和注释，在正文中给出。代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。【VQ-VAE论文精读+代码实战】Neural Discrete Representation Learning变分自动编码器 (VAEs) 可以被认为是神经网络除最后一层之外的所有功能，即特征提取或分离数据。

基于神经网络的，离散的表征学习本篇博客主要介绍VQVAE，将VQ的思想引入VAE中，在隐空间进行生成，代表工作如Stable Diffusion,DALLE和VQGAN。现在很多预训练的大模型都用到VQVAE。Vector Quantised Variational AutoEncoder (VQ-VAE)矢量量化变分自编码器。本篇博客首先梳理论文的关键点，之后另一篇博客分析VQVAE的代码。ELBO，全称为 Evidence Lower Bound，即证据下界。

在 AI 画图的领域，人们一直关注的是扩散模型，人们一直在尝试不断改进，推出了 Stable Diffusion、Midjourney、DALL-E 等技术，并在其基础上构建应用。不过最近，OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。作者阵容也非常强大，有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。

Assignment1/td.py 提供了一个示例模板，模板内容可根据需求使用和修改，但需要保证其是一个可运行的程序，运行结果需打印出最终收敛的 V 表 v ，以及使用 env.update_r(v) 后将 V 表的值同步至环境端后的渲染图形，输出格式不限制。为了更好地展现最终的策略，我们有一个打印策略的函数，用于打印当前策略在每个状态下智能体会采取的动作。可以看到从起始位置开始到目标位置的路径大致是对的，这里的结果和一些超参数十分相关，例如迭代的次数num_episodes，和。里面介绍了，不再赘述。

例如，在图 3-5 所示的正方形内部随机产生若干个点，细数落在圆中点的个数，圆的面积与正方形面积之比就等于圆中点的个数与正方形中点的个数之比。Assignment1/mc.py 提供了一个示例模板，模板内容可根据需求使用和修改，但需要保证其是一个可运行的程序，运行结果需打印出最终收敛的 V 表 v ，以及使用 env.update_r(v) 后将 V 表的值同步至环境端后的渲染图形，输出格式不限制。为了更好地展现最终的策略，我们有一个打印策略的函数，用于打印当前策略在每个状态下智能体会采取的动作。

本次实践作业将在以下环境进行：该环境由一个 6×6 网格组成，其中黄色圆圈为智能体出发点，黑色格子为无法通过的墙壁，若智能体向着墙壁方向移动，则会停留在原地，地图边界的移动同理。带有黄色边框的格子为终止状态，即若智能体行动至此状态则整个 episode 结束。红色和绿色表示当前该状态的奖励值，奖励越高则绿色越深，奖励越低则红色越深。状态空间：36（0-35 这 36 个整数，左下角为 0，向右 +1，向上 +6）动作空间：4（0-3 这 4 个整数分别代表左、右、上、下）奖励函数：普通格子 -0.1，到

一言以蔽之：CLIP（对比语言-图像预训练）是一种在各种（图像、文本）对上训练的神经网络。可以用自然语言指示它在给定图像的情况下预测最相关的文本片段，而无需直接针对任务进行优化，类似于 GPT-2 和 3 的零样本功能。作者发现在不使用任何原始 1.28M 标记示例的情况下，CLIP 与原始 ResNet50 的性能相匹配，在 ImageNet 上“零样本”，克服了计算机视觉中的几个主要挑战。提出问题。

在这篇博文中将会详细介绍Classifier-Free Diffusion Guidance的原理，公式推导，应用场景和代码分析。然后是分析和Classifier-Free Diffusion Guidance的区别和联系，以及各自的优缺点。缺点1、需要额外训练两个模型，成本较大，但可以实现比较精细的控制。2、采样速度慢，分类器可以比生成模型更小且更快，因此分类器引导的采样可以比无分类器引导更快，因为后者需要运行扩散模型的两个前向通道，一个用于条件得分，另一个用于无条件得分。