DANN & GRL 域自适应是指在目标域与源域的数据分布不同但任务相同下的迁移学习，从而将模型在源域上的良好性能迁移到目标域上，极大地缓解目标域标签缺失严重导致模型性能受损的问题。介绍一篇经典工作more。
Uplift Model离线评估指标 uplift建模难点在于无法获得个体的ground truth，因为它是反事实的。只能通过构造treatment和control两组镜像人群，对比两组人群的转化增量，来实现模型性能的评估。more。
DSSM双塔特征交互 传统的DSSM双塔无法在早期进行user和item侧的特征交互，这在一定程度上降低了模型性能。我们想要对双塔模型进行细粒度的特征交互，同时又不失双塔模型离线建向量索引的解耦性。下面介绍两篇这方面的工作。more。
Learn To Rank 在信息检索中，给定一个query，搜索引擎召回一系列相关的Documents，然后对这些Documents进行排序，最后将Top N的Documents输出。more排序问题最关注的是各Documents之间的相对顺序关系，而不是各个Documents的预测分最准确。
LLM Inference Performance Engineering https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices
GPU利用率 英伟达官方的GPU利用率的定义如下：GPUUtilrate=number of active SMnumber of total SM×100%GPU Util rate = \frac{number \ of \ active \ SM}{number \ of \ total \ SM} \times 100\%GPUUtilrate=number of total SMnumber of active SM×100%上述代码片段将在单个流多处理器(SM)上启动指定的内核(线程)。根据常规理
Attention Sink 论文发现自回归LLM存在的一个有趣现象：对于输入文本最靠前的少量几个token，无论它们在语义上与语言建模任务的相关性如何，大量的注意力分数都会分配给他们，如下图所示：more模型的前两层还能保持attention score更多分配给当前token附近位置的特性，而在其他层，靠前的几个token都会接受到大量的注意力。尽管这些token在语义上很可能并没有什么重要性，但它们却聚集了大量的注意力分数。出现这个现象的原因就是softmax操作。
RAG讲解 现有的LLM已经具备了理解、生成、逻辑和记忆能力，RAG(Retrieval Augmented Generation)则是为其套上外挂，使LLM能够访问训练数据来源之外的权威知识库，并生成领域特定的内容，而无须重新训练模型。more。
从loss角度理解LLM涌现能力 本文从预训练loss角度观察了模型涌现能力是如何发生的。其结论也给业界评估模型在下游任务上的性能提供了全新的视角，即预训练loss，而不是模型参数量、数据量、训练计算量。但本文并未从理论角度解释loss与涌现能力的关系，更多地是根据后验进行启发式分析，也未给出2.2的合理说明。但DL一直这么玄学，不是吗？
关注
