予以初始-CSDN博客

原创基于多模态数据的情感分析

目录前言1 介绍2 原理3 总结前言信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。1 介绍本

2020-10-23 17:09:40 7453 2

原创推荐算法(十一)——阿里深度会话兴趣网络 DSIN

目录1 介绍2 原理2.1 Session Division Layer2.2 Session Interest Extractor Layer2.3 Session Interest Interacting Layer2.4 Session Interest Activating Layer3 实验4 总结写在最后1 介绍本文为推荐系统专栏的第十一篇文章，也是阿里三部曲 DIN、DIEN、DSIN中的最后一篇。本篇的深度会话兴趣网络 DSIN，是将行为序列划分为多个 Session，然后针对每个

2021-12-08 16:20:56 1357

原创推荐算法(十)——阿里深度兴趣进化网络 DIEN

目录1 介绍2 原理2.1 Behavior Layer2.2 Interest Extractor Layer2.3 Interest Evolving Layer3 总结写在最后1 介绍本文为推荐系统专栏的第十篇文章，也是阿里三部曲 DIN、DIEN、DSIN中的第二篇。上篇文章介绍的 DIN，通过引入 Attention Layer 赋予用户行为不同的重要性权重，但却忽略了行为发生的时间顺序。本篇的深度兴趣进化网络 DIEN，就是针对行为的时间顺序进行建模，挖掘用户的兴趣及兴趣变化趋势。

2021-11-15 16:30:43 1568

原创推荐算法(九)——阿里经典深度兴趣网络 DIN

目录1 介绍2 原理2.1 Base Model2.2 DIN3 总结5 代码实践写在最后1 介绍本文为推荐系统专栏的第九篇文章，也是阿里三部曲 DIN、DIEN、DSIN中的第一篇。内容围绕 DIN 的原理及代码展开，后续会出后两篇的详解。阿里出品的深度兴趣网络 DIN，通过引入 Attention Layer，赋予用户行为不同的重要性权重，获得更具表达能力的用户兴趣表示。论文传送门：Deep Interest Network for Click-Through Rate Predictio

2021-11-04 16:28:15 865 1

原创推荐算法(八)——显式特征交互模型 PNN

目录1 介绍2 原理2.1 Embedding Layer2.2 Product Layer2.3 Hidden Layer3 总结5 代码实践写在最后1 介绍本文为推荐系统专栏的第八篇文章，内容围绕 PNN 的原理及代码展开。PNN 出自上海交大，通过引入特征交互层 Product Layer，显式的对特征进行交互，以提升模型的表达能力。论文传送门：Product-based Neural Networks for User Response Prediction代码传送门：PNN2 原

2021-10-12 17:17:50 1006

原创推荐算法(七)——FM 与 DNN 的另一种结合产物 FNN

目录1 介绍2 原理2.1 Sparse Binary Features2.2 Dense Real Layer2.3 Hidden Layer3 总结5 代码实践写在最后1 介绍本文为推荐系统专栏的第七篇文章，内容围绕 FNN 的原理及代码展开。论文传送门：Deep Learning over Multi-field Categorical Data– A Case Study on User Response Prediction代码传送门：FNNFNN 是 2016 年产出的模型，跟 D

2021-05-26 09:32:00 692

原创推荐算法(六)—— xDeepFM 通俗理解及代码实战

目录1 介绍2 原理3 总结4 实验5 代码实践写在最后1 介绍本文为推荐系统专栏的第七篇文章，内容围绕 xDeepFM 的原理及代码展开。xDeepFM 是由中科大、北大、微软联合发表在 KDD’18 上的文章，颇为经典。论文传送门：xDeepFM: Combining Explicit and Implicit Feature Interactionsfor Recommender Systems代码传送门：xDeepFMxDeepFM 是 Wide & Deep 的改进版，在此基

2021-05-13 08:58:50 6706 8

原创推荐算法(五)——谷歌经典 Deep&Cross Network原理及代码实践

目录1 介绍2 原理2.1 Embedding and stacking layer2.2 Cross Network2.3 Deep network2.4 Combination layer3 总结4 代码实践1 介绍DCN 是 2017 年由谷歌和斯坦福大学联合出品的 CTR 预估模型。论文传送门：Deep & Cross Network代码传送门：Deep & Cross Network 模型复现传统模型比如 Wide&Deep 主要是通过 deep 部分提取高阶特征

2021-04-27 23:14:47 1366 2

原创推荐算法(四)——经典模型 DeepFM 模型详解及代码实践

目录1 介绍2 模型结构3 实验结果4 总结5 代码实践1 介绍DeepFM 是华为诺亚方舟实验室在 2017 年提出的模型。论文传送门：A Factorization-Machine based Neural Network for CTR Prediction正如名称所示，DeepFM 是 Deep 与 FM 结合的产物，也是 Wide&Deep 的改进版，只是将其中的 LR 替换成了 FM，提升了模型 wide 侧提取信息的能力。学 DeepFM 之前建议先了解 FM 与 Wide

2021-03-31 23:36:17 6824

原创推荐算法(三)——Wide&Deep 推荐算法与深度学习的碰撞

目录1 介绍2 模型结构2.1 Wide Models2.2 Deep Models3 实验结果4 总结5 代码实践写在最后1 介绍Wide&Deep 是 Google 在2016年提出的模型，一个线性模型与深度模型结合的产物。在此之前，CTR 任务中主要以线性模型+人工特征为主流方法，此类方法缺陷比较明显：线性模型表达能力有限，需要大量人工特征来提升模型效果。随着深度学习的不断火热，深度模型展现了强大的表达能力，并且能自适应的学习特征之间的高阶交互。因此 Google 取彼之长补己之短，将

2021-02-25 17:15:08 1302

原创推荐算法(二)——FFM原理浅析及代码实践

目录1 介绍2 原理3 总结4 代码实战写在最后1 介绍FFM（Field-aware Factorization Machine）是 FM 的改进版，将域 (Field-aware) 的概念引入其中。因为作者认为一个特征在跟不同特征作交互时，会发挥不同的作用，因此应该具有不同的向量表示。本文是推荐系统系列文章的第二篇，FFM原理及代码的详细介绍。2 原理先回顾一下 FM 算法原理。公式如下：一个特征只对应一个隐向量 v，与不同特征特征交互时都使用这个向量表示。作者引入 field 的

2021-02-01 18:02:52 1235

原创多模态情感分析模型VistaNet代码实践

目录1 介绍2 原理简述3 层的定义4 模型定义写在最后1 介绍关于模型 VistaNet 的原理，我已在之前的文章基于多模态数据的情感分析中进行了详细介绍。本文是其姊妹篇，主要以搭建模型的代码为主，对算法原理不清楚的小伙伴建议先熟悉一下原理。鉴于有很多小伙伴评论和私信问我有没有此模型的代码，最近两天我对 VistaNet 进行了复现，本文会结合算法的原理进行代码的讲解，代码中加入充分注释以易理解。Tips: 文本代码使用 TF2.x 实现。下面进入正题…2 原理简述上图为 VistaNe

2021-01-20 15:28:42 4508 14

原创推荐算法(一)——FM因式分解机

目录介绍原理代码总结介绍FM（Factorization Machines，因子分解机）早在2010年提出，作为逻辑回归模型的改进版，拟解决在稀疏数据的场景下模型参数难以训练的问题。并且考虑了特征的二阶交叉，弥补了逻辑回归表达能力差的缺陷。FM 作为推荐算法广泛应用于推荐系统及计算广告领域，通常用于预测点击率 CTR（click-through rate）和转化率 CVR（conversion rate）。原理逻辑回归为普通的线性模型，优点是复杂度低、方便求解，但缺点也很明显，没有考虑特征之间的交

2021-01-08 13:47:15 1423 2

原创对于类别不平衡的数据集，应该如何处理？

目录1 问题定义2 解决方法2.1 采样2.2 SMOTE方法2.3 阈值调整2.4 模型融合1 问题定义这是典型的数据类型不平衡问题。比如对于一个二分类任务，训练集中类别为0的负样本占样本总数的90%，而正样本只占10%。那么这样的训练集有什么弊端呢？如果类别不平衡的样本直接丢给模型学习，那么很显然模型会在负样本上的学习效果更好，因为模型‘看到’的负样本更多。举个栗子，就像你如果花9天时间去学习数学，花一天时间去学习语文，不出意外你会在数学考试中表现更好。那么对于类别不平衡的训练集，该如何处理呢？

2020-12-13 15:10:19 2507

原创支持向量机——SVM细节解读

SVMSupport Vector Machine前言在深度学习变得火热之前，SVM是最受欢迎的模型，因为SVM有充分的数学原理支撑，并且可得到全局最优解 (使用梯度下降的线性模型只能得到局部最优解) ，一般用于处理二分类任务，SVM是定义在特征空间上的间隔最大的线性分类器，学习策略就是使间隔最大化。1 导读本文是博主看过大量资料之后对SVM做的总结，从初学者的角度、以易理解的方式进行全面介绍，跟着文章手动推导一遍，打通你的任督二脉。SVM涉及的知识比较多，混起来讲不易理解。本文将解耦开来进

2020-09-27 17:37:28 1288 3

原创优化算法之梯度下降算法整理

目录1 介绍2 优化方法2.1 GD2.2 SGD2.3 mini-batch GD2.4 Momentum2.5 AdaGrad2.6 RMSProp2.7 Adam3 总结1 介绍梯度下降 (Gradient Descent) 是一种经典的求极小值的算法，它的主要目的是通过迭代，使得模型参数沿负梯度不断的更新，目标函数逐渐收敛至局部极小值。梯度下降是机器学习领域用途最广的优化算法，其分类也有多种，了解每种算法的原理是深度学习调参师的必备技能，也是面试中的高频问题，下面将根据算法的发展一一进行介绍。

2020-08-22 11:43:08 887

原创《机器学习》之朴素贝叶斯原理及代码解析

目录1 介绍2 原理2.1 贝叶斯定理2.2 朴素贝叶斯算法3 总结4 代码实践1 介绍朴素贝叶斯 (Naive Bayes) 是贝叶斯分类算法中最简单的一个，一般用于处理二分类或多分类任务。该算法围绕着一个核心进行展开：贝叶斯定理。本文会从易于理解的角度对朴素贝叶斯的原理进行介绍，然后是代码实现，以加深对算法的理解。2 原理2.1 贝叶斯定理首先看一下算法的核心，贝叶斯定理。定理由来：对于事件A与事件B, 有条件概率公式：因为 P(AB) = P(BA) , 所以:将 P(A) 除到左

2020-07-30 10:56:48 1069

原创《机器学习》之 Kmeans聚类原理及代码

目录1 介绍2 原理3 代码实现1 介绍聚类算法是机器学习中经典的无监督学习算法，聚类算法有多种：Kmeans、Kmedians、Mean-shift、DBSCAN、层次聚类、EM等。本文只介绍Kmeans原理及代码，之后会陆续更新其他聚类算法的文章。2 原理Kmeans聚类原理比较简单，在一些简单的聚类任务中也能达到不错的效果。算法步骤：1 随机初始化几个聚类质心点，聚类中心的个数需自己估计；2 计算每个数据点到每个质心的距离，跟哪个聚类的质心更近，就分类到该聚类；3 计算每个聚类中样本

2020-07-27 10:16:24 534

原创《机器学习》之一文读懂神经网络的原理及实现

目录1 介绍2 原理及代码2.1 正向传播2.2 误差反传3 完整代码1 介绍本文内容主要包含神经网络（NN）的原理以及代码实现。我看了很多神经网络的实现方法，但全部都是结构固定，扩展性差。本文将实现一种可以热拔插的代码来实现神经网络，无需修改代码，只需修改参数即可搭建不同结构的神经网络。2 原理及代码看了很多文章，博主觉得讲原理时配上代码，食用更佳。2.1 正向传播正向传播很简单，不在详细介绍，正向传播的公式如下：上式是三层结构的一个前向传播公式，相信大家都能看懂，σ\sigmaσ 为激活

2020-07-24 11:48:32 427 1

原创《机器学习》之深入浅出决策树(原理+代码)

目录1 介绍2 原理2.1 ID32.2 C4.52.3 C5.0 (CART)3 总结4 代码实现1 介绍决策树（Decision Tree）是机器学习中比较经典的算法之一，也属于有监督学习中的一员。与线性模型（逻辑回归、神经网络等）不同的是，它的学习过程不是为每个特征学习一个权重，而是根据某种决策不断的对数据集进行分裂，使得到的子数据集上的标签越来越纯净，最终得到的模型就是一个树形结构，故其名曰决策树。2 原理决策树算法的效果好，可用于分类，也可用于回归 (比如CART树) 。决策树有多种，这里

2020-07-22 18:33:25 242

予以初始的博客