炫云云

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖论文标题论文地址Abstract1 Introduction2 Related Work2.1 Unsupervised Feature-based Approaches2.2 Unsupervised Fine-tuning Approaches2.3 Transfer Learning from Supervised D

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖什么是Life Long Learning？Life Long Learning的难点对比评估方法为什么灾难遗忘终身学习的解法

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖动态计算intermedia layerDynamic WidthComputation based on Sample Difficulty

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖Low Rank ApproximationDepthwise Separable ConvolutionDepthwise ConvolutionPointwise Convolution对比Group Convolution不同卷积的PyTorch实现

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖参数量化（Parameter Quantization）什么是参数量化？提升速度参数量化方法权重聚类二进制参数低比特量化训练加速三值化混合位宽💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖3.1 基于策略 方法3.2 基于估值方法Q 函数与V函数Monte-Carlo based approachTemporal-difference (TD) approachMC v.s. TDVersion 3.5Version 4Tip of Actor-CriticQ&AQ-learning

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖简介存在问题Domain ShiftDomain AdaptationDomain Adaptation 分类样本自适应特征自适应模型自适应Domain Adaptationdomain adaptation 面临的情况少量有标注的目标领域资料大量无标注的目标领域资料Basic Idea——寻找 Feature

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖一、ML模型攻防的动机二、攻击模型的方法1 概述2 攻击分类3 损失函数的设计4 相似度限制5 训练的方法6 例子7 可视化的解释8 攻击方法FGSMOne Pixel AttackAdversarial reprogramming（对抗重编程）“Backdoor” in Model9 White Box 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖为什么需要Explainable AIExplainable AI是否有必要Interpretable VS Powerfulexplainability VS interpretabilityExplainable AI 分类解析机器的决定因素方法一:遮挡方法二:计算Gradient梯度饱和解析机器的处理过程

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 复杂度分析🥝🥝 最大路径长度🥝🥝 时间复杂度🍄🍄 Self-Attention层时间复杂度🍄🍄 Multi-Head Attention 层时间复杂度🍄🍄 RNN层时间复杂度🍄🍄 CNN层时间复杂度🍄🍄 线性Attention 时间复杂度🥝🥝 Self-Attention层和全连

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝为什么提出External Attention🥝🥝 External Attention

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 Nyström 方法🥝🥝 Nyström 方法用于矩阵逼近🥝🥝 Nyströmformer

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝为什么提出 Performer？🥝🥝Transformer🥝🥝 通用注意力机制🥝🥝 FAVOR+🥝🥝Performer

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 为什么提出 Linformer？🥝🥝 相关理论🍎🍎 Transformer🍎🍎 混合精度🍎🍎 知识蒸馏🍎🍎 稀疏注意力🍎🍎 局部敏感性哈希🍎🍎 提升优化器的效率🥝🥝 Linformer🍒🍒 score矩阵是低秩🍒🍒 模型

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 Efficient Attention🥩参考

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 Efficient Attention🥩参考

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝为什么提出Big Bird🥝🥝Big Bird🥩🥩参考

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 1 为什么提出Sparse Transformer🥝🥝2 Sparse Transformer🍅 🍅 分解自注意力（Factorized Self-Attention）🍅🍅 跨步注意力（Stride Attention）🍅🍅 固定注意力（Fixed Attention）🍅🍅 分解注意力头🥝🥝3

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🍎🍎 1 逐层标准化🍋🍋 为什么进行标准化？🍎🍎 2 BatchNorm 层（批标准化）🍋🍋 标准化🍋🍋 前向传播🍋🍋 反向更新🍋🍋 BN 层实现🍋🍋 卷积块🍎🍎 3 Layer Normalization 层（层标准化）🍋🍋 RNN使用层标准化🍎🍎 4 BN和LN的区别

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 1 self-attention 模型🍄🍄 为什么需要self attention🍄🍄 Self-Attention 作用🍄🍄 Self-Attention 输入/输出🍄🍄 Self-Attention 结构🍄🍄 self-attention计算过程🍄🍄 Self-Attention La

💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖🥝🥝 1 Seq2Seq 的训练🥝🥝 2 Teacher Forcing🥝🥝 3 Copy Mechanism 复制机制🥝🥝 4 Guided Attention 引导Attention🥝🥝 5 beam search🍄🍄 5.1 greedy search🍄🍄 5.2 exhaustive se

欢迎感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！感谢你的阅读，专栏文章持续更新！🥝🥝 1 RNN 字符级语言模型🥝🥝 2 困惑度（Perplexity）深耕于机器学习算法、深度学习、数据分析等领域，希望这知识能帮到您。

欢迎感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！感谢你的阅读，专栏文章持续更新！🥝🥝 1 生成什么🍎🍎 文字生成🍎🍎 图片生成🥝🥝 2 条件生成🥭🥭 图片字幕生成（Image Caption Generation）🥭🥭 机器翻译 (Machine translation)🥭🥭 聊天机器人(Chat-bot)🥝🥝 3 Attention (动态条件生成)🍉🍉 动态条件生成🍉🍉 Attention 基本过程🍉🍉 数学表示

欢迎感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！感谢你的阅读，专栏文章持续更新！🥝🥝 为什么需要RNN🥝🥝1、序列表示方法🥝🥝2、给网络增加记忆能力🥝🥝3. 基本RNN🥝🥝4. 双向RNN🥝🥝5.RNN的应用🥝🥝6.参数学习🥝🥝7、长程依赖问题深耕于机器学习算法、深度学习、数据分析等领域，希望这知识能帮到您。

欢迎感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！感谢你的阅读，专栏文章持续更新！🥝🥝向量化🥝🥝one-hot 编码🥝🥝word embedding🥝🥝embedding 实现🍉🍉Embedding 层🍉🍉预训练的词向量🥝🥝数据的形状变化深耕于机器学习算法、深度学习、数据分析等领域，希望这知识能帮到您。

带你全面理解实现FNN模型，使用tensorflow2从零开始构建。完成1、简介2、FNN模型Embedding层DNNtensorflow2实现3、训练4、优缺点感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。

带你全面理解实现FM模型，使用tensorflow2从零开始构建。完成首先对特征进行one-hot编码FM模型——隐向量特征交叉tensorflow2实现梯度下降法学习交叉熵损失函数损失函数加入正则项与截取梯度感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。

带你全面理解实现FM深度学习模型，使用tensorflow2从零开始构建。完成1、前言2、 FNN——用 FM的隐向量完成Embedding层初始化Embedding层DNNtensorflow2代码3.DeepFM——用 FM代替Wide部分代码4、NFM—— FM 的神经网络化尝试感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。

1、前言基础知识一什么是辛普森悖论2、 POLY2模型——特征交叉的开始3、 FM模型——隐向量特征交叉4、 FFM模型——引入特征域的概念5、从POLY2到FFM的模型演化过程参考感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。

1、Wide&Deep模型——记忆能力和泛化能力的综合2、模型的记忆能力与泛化能力3、 Wide&Deep模型的结构4、Wide&Deep模型的进化—Deep&5、 Wide&Deep 模型的影响力参考感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。

文章目录1、前言2、网络架构2.1 IPNN2.2 OPNN参考1、前言NeuralCF模型的主要思想是利用多层神经网络替代经典协同过滤的点积操作，加强模型的表达能力。广义上，任何向量之间的交互计算方式都可以用来替代协同过滤的内积操作，相应的模型可称为广义的矩阵分解模型。但NeuralCF模型只提到了用户向量和物品向量两组特征向量，如果加入多组特征向量又该如何设计特征交互的方法呢? PNN模型给出了特征交互方式的几种设计思路。2、网络架构PNN模型的提出同样是为了解决CTR预估和推荐系统的问题。图1

文章目录1、前言2、从深度学习的视角重新审视矩阵分解模型3、NeuralCF结构3.1、NeuralCF的学习3.2 广义矩阵分解(GMF)3.3 多层感知器(MLP)3.4 GMF与MLP的融合3.4.1 预训练4、NeuralCF模型的优势和局限性参考参考1、前言NeuralCF利用深度神经网络从数据中学习交互函数,替换内积运算，以捕获用户交互数据的复杂结构。2、从深度学习的视角重新审视矩阵分解模型矩阵分解技术是将协同过滤的共现矩阵分解为user矩阵与item矩阵乘积的形式， 其中，用户uuu隐

文章目录1、前言2、应用场景3、模型结构Early Crossing vs. Late Crossing参考1、前言相比 AutoRec模型过于简单的网络结构带来的一些表达能力不强的问题，Deep Crossing模型完整地解决了从特征工程、稀疏向量稠密化、多层神经网络进行优化目标拟合等一系列深度学习在推荐系统中的应用问题，为后续的研究打下了良好的基础。Deep Crossing对单个特征进行多种组合， 组合特征有时称为cross features或者multi-way features，并且当作后续

文章目录1、前言2、模型的结构重建函数特点和局限性3、代码参考1、前言AutoRec将自编码器（ AutoEncoder)的思想和协同过滤结合，提出了一种单隐层神经网络推荐模型。因其简洁的网络结构和清晰易懂的模型原理，AutoRec非常适合作为深度学习推荐模型的入门模型来学习。AutoRec模型是一个标准的自编码器，它的基本原理是利用协同过滤中的共现矩阵，完成物品向量或者用户向量的自编码。再利用自编码的结果得到用户对物品的预估评分，进而进行推荐排序。2、模型的结构假设有 mmm 个用户, nnn

文章目录1、矩阵分解算法的原理2、矩阵分解的求解过程3、消除用户和物品打分的偏差4、矩阵分解的优点和局限性针对协同过滤算法的头部效应较明显、泛化能力较弱的问题，矩阵分解算法被提出。矩阵分解在协同过滤算法中“共现矩阵”的基础上，加人了隐向量的概念，加强了模型处理稀疏矩阵的能力，针对性地解决了协同过滤存在的主要问题。1、矩阵分解算法的原理Netflix是美国最大的流媒体公司,其推荐系统的主要应用场景是利用用户的行为历史，在Netflix 的视频应用中为用户推荐喜欢的电影、电视剧或纪录片。图1用图例的方式描

文章目录CPA:按行为付费CPC:按点击付费CPM：按展示付费CTR：点击率CVR：转化率ROI：投资回报率PPC：平均点击话费CPT：按时常付费CPA:按行为付费顾名思义按照行为（Action）作为指标来计费，这个行为可以是注册、咨询、放入购物车等等。广告公司和媒体公司常用CPA、CPC(Cost Per Click)、CPM(Cost Per Mille，或者Cost Per Thousand；Cost Per Impressions)一起来衡量广告价格。CPC:按点击付费是“Cost Per

文章目录1、前言2、模型结构SNR-TransSNR-Aver结合隐变量学习网络结构潜在变量L0正则化的应用模型训练与Serving的细节参考1、前言多任务联合学习不仅可以帮助互相联系的多任务之间学习更充分，还可以节省在线计算性能。传统的Shared-Bottom网络结构在多个任务之间关联度较弱时对各个任务的学习效果会有一定的损伤，而之前的诸如软参数共享等模型方面的尝试又显得不够灵活或者性能消耗太大。本文提出了一种SNR的算法框架，在保留经典Shared-Bottom网络结构性能优势的前提下实现了更

文章目录1、前言2、相关知识工业界的推荐系统多目标学习推荐系统理解和建模训练数据中的bias3、模型结构排序目标基于多 Gate 和Mixture-of-Experts层的任务关系和冲突建模建模和消除位置和选择bias参考1、前言文章主要聚焦于大规模视频推荐中的排序阶段，介绍一些比较实在的经验和教训，解决Multitask Learning, Selection Bias这两个排序系统的关键点。为了解决这样的挑战，作者提出了MMoE-PosBias 架构，利⽤ MMoE 框架解决多⽬标问题，并利⽤ W