qjzcy的博客

在cv里码本对应的encoder是卷积完的三维机构，如果我们是优化ID向量只有一维，需要做个转换把一维变成二维，这里可以用卷积，也可以把向量两两相乘变成二维结构，这样的好处是一方面方便我们把每一行当作一个向量和codebook求对应，另一方面两两相乘也可以理解为一种特征交叉，提升了向量的表达。在传统的 VAE 中，先验分布通常是一个固定的分布，例如标准正态分布。在VQ-VAE中，编码器将输入数据映射到一个离散的隐藏，将编码器的输出与一个称为码本（codebook）的离散向量集进行匹配来实现的。

上篇文章我们说latency diffusion 把图像和文本先压缩到隐空间再进行diffusion，大大提升了diffusion过程的效率，其实我们想想diffusion过程其实我们也完全没必要一直扩散到纯噪声再还原为图像，我们只需要扩散到适合我们生成图像的时候就可以。这里还有个问题，那么在prior训练过程文本隐空间到图像隐空间对应关系从哪儿来，论文又很巧妙的想到了clip模型，模型里的文本隐空间到图像隐空间就是现成的样本对。4）为了提高上采样器的鲁棒性，在训练过程中我对调节图像进行了轻微的损坏。

引言大获成功，但是它的短板也很明显，需要大量的计算资源，并且推理速度比较慢。如何才能提升Diffusion model的计算效率。业界有各种各样的改进，无疑Latent Diffusion Models（潜在扩散模型，LDMs）是比较成功的一篇，那就来学习一下LDMS是怎么做的吧论文贡献1，与基于变换的方法相比，论文的方法在处理更高维度数据，可以高效地应用于高分辨率图像的合成，具体措施如下）使用潜在空间进行训练：作者在隐空间而不是像素空间上训练扩散模型。

clip遇到的另一个问题是，在clip的预训练数据集中，图像配对的文本通常不只是一个单词，而是一个描述图像的完整句子。在预训练之后，用于对下游任务的零样本迁移。在这项工作中，clip弥合了过去模型数据量不足的差距，通过利用互联网上大量可用的这种形式的数据，创建了一个包含4亿（图像，文本）对的新数据集。clip论文比较长48页，但是clip模型本身又比较简单，效果又奇好，正所谓大道至简，我们来学习一下clip论文中的一些技巧，可以让我们快速加深对clip模型的理解，以及大模型对推荐带来革命性的变化。

这里涉及到两个问题，一个是如何扩展Context长度，一个是如何让llm模型只在指定Context内回答问题。今天我们ppo优化主要解决llm模型只在指定Context内回答问题。

从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO论文。

从open AI 的论文可以看到，大语言模型的优化，分下面三个步骤，SFT，RM，PPO，我们跟随大神的步伐，来学习一下这三个步骤和代码实现，本章介绍PPO代码实现。

要搞明白PPO首先需要搞明白下面几个概念。策略梯度（Policy Gradient），On Policy Off Policy，重要性采样（Importance Sampling），自适应的KL散度惩罚（Adaptive KL Penalty Coefficient），约束问题（Clipped Surrogate Objective）

为方便学习，对ChatGlm的代码做了逐行解读，这里主要是lora方法使用，里面核心的部分如数据的解析，loss的定义，lable制作，lora调用的框架流程等。将输入转化为我们想要的input和lable格式，注意这里输入的特征是已经转化为id的特征，根据我们自己的数据和需要定义，重写 compute_loss 方法，计算模型的损失。（1）将promot和input，target转化为我们想要的input格式。整体代码如下，文件获取可以参考git。1，数据处理，两个功能。3，loss计算定义。

为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，

类型的模型是 Hugging Face Transformers 库中的一个通用模型类型，用于加载任意预训练模型。该模型类型可以自动检测预训练模型的类型，并返回相应类型的模型对象。类型的对象，该对象包含了预训练模型的参数和 fine-tune 的相关参数。再查看源码，会看到在from_pretrained这个方法里，会用到它生成的路径，以及路径下的文件，无法绕开。我们在其它finetune的文件夹里找到这个文件，打开后可以看到是，这个文件包含的是fintune迭代信息。既然这种调用model的方式不行，

b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。c. 过去的方法：传统的语言模型使用从左到右的解码方式。

1，目标差异首选我们很容易想到的就是多任务模型，不同频道共享特征和expert，有自己独立目标。但是简单融合往往导致严重的负迁移，融合模型效果比单场景模型效果更差。为了解决这些问题，我们针对模型中不一致的地方一一入手：2，特征不一致，这里很容易想到的解法是拆分不同特征，分成共有特征和独有特征，然后如果是多任务模型再分布让不同特征走不通不同expert。如下图不同场景有自身独立的expert，和公共的expert。结合一个场景个性化的gate来控制不同expert的特征输入。以及不同tower的ex

工作中时不时就会有需求，新介质需要添加，或者要另起一个新版本。比如信息流推荐里需要添加微博，小视频，结构体，需要做精英版，极速版等等。而且每次新场景新介质和老场景老介质之间特征有很大差异，不仅独有特征存在差异，共有特征也存在分布的巨大差异。导致老模型在新介质新场景上效果比较差。这常常困扰着我们，因为新介质没有推全，模型没见过所以推荐效果不好，推荐效果导致我们迟迟又上不了线，反过来影响着模型效果提升，这就成了一个死循环。我们怎么才能更好解决这个问题呢？介绍一些，之前我们遇到这些情况的解法吧，欢迎拍砖。

在排序工作中，我们也经常遇到不同的一致性需求，关于排序一致性，我们往往需要考虑几个方面：《样本的差异》，《特征的差异》，《模型参数差异》，《目标差异》，《场景融合的差异》。当然他们之间并不是完全割裂的，譬如样本的差异，往往也涉及到模型参数的调整。这里为了便于说明，做了这么几个简单区分。

前言：最近和业界同事交流，大家都发现搜广推做到一定程度优化越来越难，一招就能普遍提升的大招越来越难找，推荐何去何从？上期写了个冷启动的一致性，从中得到启发，其实推荐过程中，也可以借鉴一下这个思路，从各个环节去考虑我们系统中的一致性，还是有不少优化点。现在推荐已经过了那个蛮荒的年代，既然已经很难仅通过某个模块环节就找到能整体提升的优化点，我们可以扫视一下我们系统中的一致性，是否在过去的优化中对某些模块，领域存在着忽略，缺少整体的一致性的考虑，还是有不少优化点，可以继续提升我们推荐优化的效果。

在物品冷启动，打分的时候，一个用户往往对应多篇文章，所以item 冷启动的一致性，一般强调的是信息补充和使emb不受歧视。用户冷启动，user emb对所有文章是公平的，user emb被歧视的问题影响相对弱，所以用户冷启动更要强调的是用户emb从相同类别用户中获取到用户的公共兴趣增益。在推荐系统中user&item emb往往是最重要的特征之一，在冷启动和长尾优化的工作中，往往也是优化的重点，相当一部分工作是围绕着emb优化展开，所以这里单独开了一章。主要思路在于冷启内容emb和高活emb的一致性。

目前中长尾推荐的方法有很多，主流的方法有几类比如:1)在没有项目ID嵌入的情况下提高推荐模型的鲁棒性，2)利用有限的交互数据提高学习效率，如使用元学习方法;3)利用物品侧面信息，便于物品ID嵌入的初始化，4）辅助数据引入，包括知识图谱网络，跨领域转换等等 在优化的过程中，结合自己的一些工作，感觉是不是也可以从一致性的角度的来考虑这个问题，这样的好处是有个统一的切分方式，那么看到哪块还不一致，是不是就可以作为一个未来的优化点？

平常我们对分类的判断也是基于标题中的某些字，或者某些词性。比如《姚明篮球打的怎样》应该判别为体育，这时候“姚明”，“篮球”应该算对我们比较重要的词汇。词性我们关注点在“人名”和“名词”上面，深度学习的attention机制刚好符合这个特点。我们能不能利用attention机制来做分类呢，并且让注意力集中在我们期望的词上呢？先贴个结果， output是机器跑的分类结果，lable是人工打的分类结果。

利用lstm模型实现短文本主题相似——qjzcy的博客目录： 一、Rnn模型结构 二、LSTM模型的Topic应用方法 三、实验结果对比一、Rnn模型结构：这里是rnn模型的一个结构图，如图1 图1 Rnn网络能够把之前输入的信息往后传播，合适处理时序的数据，或者需要结合前后信息的数据。 Lstm是rnn的一个升级版本，本质上能更好的保存之前多级输入样本的特征二、LSTM