weixin_44880995的博客

另外，Gate网络最后的输出会经过softmax进行归一化。Gate网络最后一层全连接层经过softmax归一化后的输出，对应作用到每一个expert上（图2中GateA输出的红、紫、绿三条线分别作用与expert0，expert1，expert2），注意是通过广播机制作用到expert中的每一个隐藏单元，比如红线作用于expert0的2个隐藏单元。这里gate网络的作用非常类似于attention机制，提供了权重。

集成学习

求解 L1 损失的问题通常比求解 L2 损失的问题更难。L1 损失的优化问题是一个非凸问题，而 L2 损失的优化问题是一个凸问题。由于其凸性，L2 损失的优化问题（如最小二乘法）通常更容易解决，并且有多种有效的算法（如梯度下降、牛顿法等）。精确度（precision）/查准率：TP/（TP+FP）=TP/P 预测为真中，实际为正样本的概率。当模型的稀疏性非常重要时，例如在文本分析或生物信息学中，L1 损失是一个很好的选择。当模型的参数需要保留非零值，并且对异常值不太敏感时，L2 损失是一个更常用的选择。

attention整理

dfs

FM

dfs

GBDT+LR

刷题记录

aliyun0512

Transformer已经成为自然语言处理（NLP）中的主导模型。研究人员最近试图利用Transformer架构进行各种计算机视觉任务，并取得了有竞争力的结果。然而，很少有工作已经做了探索Transformer架构的三维人体姿态估计（HPE）。在这项工作中，我们提出了级联变压器，一种新的基于变压器的方法，从一个单一的图像三维HPE。具体而言，我们的级联变压器包括两个变压器编码器，分别利用静态和动态的人类关节关系。利用自我注意力模块和级联结构，我们的方法全面模拟静态和动态人体关节关系。

xiecheng1.给定两个正整数x和p，要求从x中提取出所有的奇数位数字组成一个新数，然后将这个新数对p取模，并输出结果。

双塔模型

小红书笔试（0528）

刷题记录

(2) 鼠标回到主屏，放在主屏正下方中间的边缘不要动，主屏能看到扩展坞出现了；(3) 按下 option+command+D，锁定其到主屏；(1) 按下 option+command+D，开启。“自动隐藏”，副屏程序坞消失；

离散特征：性别，国籍，英文单词，物品id，用户id处理：建立字典：eg：china = 1向量化：eg：one-hot /embedding（低维稠密向量）

Q：假如重合的用户是一个小圈子：在一个群里，毫无关联的笔记也会被同时交互solve：降低小圈子权重--------------swing的主要目的------------给用户加权相似度：a是人工参数，overlap降低小圈子对相似度的影响。

1.给定用户id，用户->物品，找到用户近期感兴趣的物品列表（last-n）2.对于last-n中的每个物品，物品->物品，找到top-k相似物品。用户对物品j的兴趣 * 物品j与候选物品的相似度。3.对上面的物品（最多nk个），计算兴趣分数。4.返回分数最高的100个物品，作为推荐结果。没有考虑用户喜欢物品的程度。计算相似度 （0，1）量化用户对物品的兴趣。相似：受众有无重合、索引的意义：避免枚举。

同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。