- 博客(96)
- 收藏
- 关注
RSS订阅原创 基于LLM做SFT落地应用的一些心得体会
笔者过去一段时间做了一些基于LLM的应用落地实战，具体应用场景本身这里就不再细说了。今天主要讲一下做SFT过程中一些技术层面的心得体会，一方面是作为给自己的记录笔记，另一方面这里罗列出来和大家一起交流讨论。
2024-04-30 11:35:56
429
原创 推荐搜索系统中关于多场景学习的常见方法
最近公司准备在做“one model to serve all”相关的探索 (毕竟行情不好了，大家都在为降本增效做好准备。做完了模型层面的合并事宜之后，接下来要发生的事情大家懂的都懂)。这两天看了一些业界做的比较好的方法，正好周末总结一下。今天的讲解方式并不是说将以上材料中的内容按照顺序从前到后完整的论述下来。而是按照一种建模框架的思路，将各个部分的内容融合进来。
2022-10-24 10:41:48
2129
2
原创 常见的k临近向量检索算法
今天要讲博客博客都围绕一个问题主题展开：有一个包含了N个元素的集合，在向量化的参数空间里，给出任何一个节点i，如何在最短的时间复杂度的前提下找到该节点iii的kkk临近向量子集。当然第一直觉是最少也要把元素iii和集合里其余N−1N-1N−1个元素两两比较，这样才能从这N−1N-1N−1个元素中找到k个最大的元素。当然如果在N不是特别大的时候，这种方法也是可以的。但是如果是类似应用在搜索推荐系统的召回环节，往往候选集规模在千万量级，这种全部遍历的方法往往效率就不够了。这时候就需要对检索结构进行特殊的设计，
2022-05-22 23:58:46
1014
原创 从用户长序列行为中有效抽取信息的常见方法
今天的博客主要参考了以下资料：1 2019年SIGIR会议的《Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction》2 2018年WSDM会议的《Sequential Recommendation with User Memory Networks》3 2020年SIGIR会议的《User Behavior Retrieval for Click-Through Rate Pre
2022-03-31 16:49:34
2190
3
原创 搜索搜索系统中常见的Debais方法与策略
最近由于刚刚入职了新公司，已经很久没有更新博客了。从今天开始，要开始慢慢总结工作与学习了。今天的博客主要参考了2019年华为诺亚方舟实验室在ResSys会议的paper《PAL:APositionbiasAwareLearningFrameworkforCTRPredictioninLiveRecommenderSystems》，微软发表的paper《Modeling and Simultaneously Removing Bias via Adversarial Neural Networks》以及美团N
2021-08-03 14:28:30
787
原创 基于边缘计算框架的端上推荐模型
今天的博客主要参考了2020年CIKM会议的paper《EdgeRec: Recommender System on Edge in Mobile Taobao》。这篇paper提出的在手机淘宝客户端上部署的边缘计算推荐模型应该是边缘计算在推荐领域落地应用的开山之作。首先，我来解释一下我理解的“边缘计算”这个概念在淘宝推荐领域应用的意思。所谓“边缘计算”其实是随着手机移动端的计算能力、存储能力越来越强，相较于传统的CS(client,server)模式中client端只负责用户行为特征数据采集，其被赋予了
2021-03-12 15:51:31
1227
2
原创 基于GNN网络的session推荐模型（知识图谱技术在推荐场景的应用）
今天的博客主要参考了2019年AAAI的论文《Session-based Recommendation with Graph Neural Networks》和2020年SIGIR的论文《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》。主要讲解了如何利用当下最火的GNN模型辅助Session-based 下的行为序列建模。所谓Session-based 场景下的推荐模型建模，其实就是利用用户在t
2020-12-27 18:26:00
1071
原创 利用深度学习网络显示挖掘高阶特征交互的CTR模型
今天的论文主要参考了华为诺亚方舟实验室这两年的3篇paper，分别是2019年WWW会议上的《Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction》，2020年KDD会议上的《AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction》和20
2020-09-30 19:44:29
2236
原创 一种基于超长用户点击序列的CTR预估模型（算法和工程架构的 co-design）
今天的论文参考了2019年KDD的paper《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction》，这也是阿里妈妈盖坤组最新的在定向广告方向的研究实践成果，即在进行CTR预估的时候考虑了用户更长时间的行为序列信息。首先从整体来讲，我觉得这篇paper是有一定划时代的意义的，和之前...
2020-06-22 11:31:15
2054
原创 深度学习在工业界的应用案例（二）
今天的博客主要参考了4篇paper，分别为阿里妈妈定向广告推荐团队的《Deep Session Interest Network for Click-Through Rate Prediction》和《Deep Match to Rank Model for Personalized Click-Through Rate Prediction》，蚂蚁金服风控团队的《A Semi-supervised Graph Attentive Network for Financial Fraud Detection》
2020-06-02 20:56:45
1784
原创 基于稀疏特征场景的embedding策略和基于非平衡数据的DICE损失函数
今天的博客主要参考了阿里妈妈定向广告团队的论文《Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling》和香侬科技李纪为团队的论文《Dice Loss for Data-imbalanced NLP Tasks》。首先声明的是，这两篇paper在内容上并没有直接的关系，但是最近是我看的论文里比较有启发意义的，所以索性就在一篇博客里一起总结一下。首先介绍《Res-embedding for Deep Learn
2020-05-26 11:33:11
1047
原创 在线沙龙分享深度学习落地案例整理系列（一）
从本篇博客开始，我准备把最近看的一些深度学习在工业界的落地案例进行一个总结，素材的主要来源是DataFun社区举办的一些在线沙龙技术分享。话不多说，直入主题。这一次的分享主要是来自58同城的算法工程师在招聘推荐环节使用的深度召回模型。其实招聘推荐和广告推荐在流程上是相似的，都是从"海选 => 召回（粗排）=> 排序（精排）"。这次分享的主要亮点就是在召回阶段引入了深度学习模型。首先...
2020-04-15 14:37:43
648
原创 GNN（图神经网络）在反欺诈领域的落地
今天的博客主要参考了《Heterogeneous Graph Neural Networks for Malicious Account Detection》和《GeniePath: Graph Neural Networks with Adaptive Receptive Paths》，都来自阿里的蚂蚁金服团队，都使用了当下最流行的Graph Neural Network的相关知识。其实有关G...
2020-03-17 17:47:24
5098
1
原创 一种基于时间滑动窗口的黑产团伙挖掘算法
今天的博客主要参考了2014年facebook在会议SIGSAC上发表的paper《Uncovering Large Groups of Active Malicious Accounts in Online Social Networks》。主要讲解了facebook应用机器学习方法在OSN(online social network)反团伙欺诈方面的解决方案。由于有部分读者对于facebook...
2019-11-16 16:49:44
1847
原创 一种基于非线性的网络节点Embedding生成策略
今天的博客主要参考了2016年KDD会议上的paper《Structural Deep Network Embedding》，主要将了一种基于非线性空间中的网络节点的Embedding生成策略。需要注意的是这篇paper和2016年之前很多网络节点Embedding策略相比，有2大创新的地方：1 节点的非线性映射表征。最大的不同点就是“非线性”这三个字，像之前的Deepwalk，Line等算法...
2019-11-08 09:20:39
364
原创 深度学习在工业界的应用案例（一）
最近忙里偷闲，看了两篇深度学习在工业界落地的paper，这里总结一下，方便以后的复习和回顾。主要参考了2019年facebook的paper《Deep Learning Recommendation Model for Personalization and Recommendation Systems》和2019年第四范式在KDD上发表的paper《AutoCross: Automatic Fe...
2019-11-01 11:05:03
7195
2
原创 一种深度挖掘特征之间交互的神经网络模型
今天的博客主要参考了2019年KDD会议上的paper《Pairwise Multi-Layer Nets for Learning Distributed Representation of Multi-field Categorical Data》。这篇paper主要针对输入源数据为多个领域的类别特征（且每个领域的特征都有多种取值），设计了一种巧妙的提取特征之间交互信息的结构，并在正式训练任务...
2019-08-29 21:25:26
2288
原创 Airbnb深度学习在搜索领域的探索总结
今天的博客主要参考了Airbnb发表的paper《Applying Deep Learning To Airbnb Search》。这篇paper介绍了近2年Airbnb在搜索场景下所使用模型的演进路线，以及一些失败的总结和经验的总结，最难能可贵的是作者对每一次尝试的失败和调参都给出了详细的分析说明，感觉给我们这些做模型的人做了个很好的样例（要清晰的知道自己的模型好为什么好，不好为什么不好）。首...
2019-08-07 20:11:03
568
原创 LambdaFM：一种在深度学习模型架构融合pairwise的策略
今天的博客主要参考了2016年的会议CIKM的paper《LambdaFM: Learning Optimal Ranking with Factorization Machines Using Lambda Surrogates》。首先我想说一点常识知识，即本博客讲的内容涉及到了Learning to Rank领域的相关知识，其中Learning to Rank是一类算法框架包含了:Point...
2019-08-04 19:33:26
3250
原创 方差与无偏估计
今天的博客其实是对一个一直疑惑的数学知识点的讲解，毕竟机器学习还是运用到了大量的数学知识，所以把一些涉及到的数学概念搞清楚还是十分必要的。方差其实这个概念相信大家都知道，就是D(x)=1n∑i=1n(xi−E(xi))2D(x)=\frac{1}{n}\sum_{i=1}^n(x_i-E(x_i))^2D(x)=n1∑i=1n(xi−E(xi))2，其实就是每个样本值和均值均方差的平均值...
2019-08-01 10:57:56
10610
3
原创 一种能自动抽取特征与特征interaction重要性的CTR模型
今天的博客主要参考了2019年推荐系统顶会RecSys的paper《FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction》。该篇paper最大的创新点就是提出了一种自动提取特征重要性的结构SENET Layer 和提取特征之间交互重要性的结构B...
2019-07-13 22:08:18
1531
原创 一种基于知识图谱的新闻推荐模型
本篇博客参考了2018年WWW会议的paper《DKN: Deep Knowledge-Aware Network for News Recommendation》，即一种引入知识图谱的新闻推荐模型。其实和一般的推荐系统一样，结合目标用户过去一段时期内浏览过的新闻纪录信息，预测该用户是否对某一新闻感兴趣（和阿里淘宝系的商品推荐十分相似）。首先作者列举了该类问题的3个难点：1 新闻推荐是一个时效...
2019-06-30 18:32:54
4238
原创 一种挖掘任务之间关系的multi-task模型
今天的博客主要参考了2018年KDD会议上的paper《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》，提出了一种针对multi-task的通用处理架构。话不多说，直接上图：图中有a，b，c三种网络结构，其中网络a就是传统的multi-task结构，即两个不同的任务共...
2019-06-30 17:31:48
991
原创 一种根据用户点击行为生成同一语义空间中query和document向量的方法
本篇博客主要参考了2016年SIGIR会议上的paper《Learning Query and Document Relevance from a Web-scale Click Graph》。首先说明的是这篇paper提出的模型主要是应用在搜索领域，即根据用户的query和其点击的document日志信息，学习query和document的向量在同一语义空间中的表征方式，将这些向量的表征方式使用...
2019-06-07 12:53:12
902
原创 一种自动提取有效组合特征的网络结构（推荐系统）
今天的博客主要参考了2019 WWW会议的paper《Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction》，主要讲了在推荐领域一种利用卷积结构来进行自动特征提取的模型结构，并证明自动提取的特征能够显著提升模型的性能。众所周知，目前各个公司在推荐领域使用的都是以神经网络为基础的深度...
2019-06-06 18:57:04
3192
原创 一种强化学习在新闻推荐领域的应用
今天写的博客主要参考了2018年WWW会议上的论文《DRN: A Deep Reinforcement Learning Framework for News Recommendation》，主要讲解了在新闻推荐领域如何使用深度强化学习的方法。从整个发展趋势来看，强化学习最近无论是在学术界还是工业界都越来越火了，而由于强化学习框架中包含的实体概念比较多（Agent，State，Action，Rew...
2019-04-07 19:00:33
2070
原创 阿里系——盒马鲜生的Embedding策略
今天的博客主要参考了2018年KDD会议的一篇paper《Learning and Transferring IDs Representation in E-commerce》。主要讲了盒马鲜生Embedding的生成策略，因为盒马鲜生是一个比较新的平台，所以新用户和新商品的冷启动问题会比较突出，同时又由于盒马生鲜主打的是卖当季的生鲜，故新商品冷启动问题会持续存在。从整体来看，作者指出生成的商品...
2019-03-15 21:37:53
3817
原创 Glyce 一种针对中文汉字结构信息抽取的Embedding策略
这篇博客主要参考了香侬科技公司李纪为大神团队的paper《Glyce: Glyph-vectors for Chinese Character Representations》，其主要面对的是中文（类象形文字）从构字法的角度来对中文的汉字进行分析。之前看过的包括自己研究的从构字法角度研究中文的主要参考的是五笔拼音输入法，一个汉字会被拆分成一个部首序列，这种方法由于汉字复杂性和现代汉字的简洁性，使提...
2019-02-05 22:37:18
2403
1
原创 YoutuBe 推荐系统
这篇博客参考了2016年Youtube发表的paper《Deep Neural Networks for YouTube Recommendations》，主要讲述了Youtube如何根据用户历史行为观看记录而在线上使用的给用户推荐视频的系统结构，虽然论文有点老，但是里面很多东西还是很有启发意义的。下面是整个系统的架构图：整体来看整个系统像一个漏斗，和其他的推荐系统一样由两个主要部分组成：c...
2018-12-10 13:59:12
4600
原创 Bert-一种基于深度双向Transform的语言模型预训练策略
今天的博客主要参考了论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。这篇paper是Google公司下几个研究员发表的，而且在NLP领域引起了很大的轰动（在多个NLP任务集上都打破了之前最好的记录）。其实，这个Bert利用了迁移学习的思想，把针对语言模型任务设计出的网络参数进...
2018-12-02 21:19:31
4190
原创 几种推荐搜索场景下的用户Embedding策略
所谓Embedding策略，就是用一个向量来描述一个实体的思想，这种思想用向量来描述实体信息，不仅仅包含了实体本身的属性信息，同时还包含了实体之间的关联信息，以及实体和最终目标任务之间的关联信息。这种方法最早其实是运用在NLP领域—词向量就是很好的例子，但是随着深度学习在其他各个领域（尤其是搜索/推荐/广告）的应用，衍生出了各种各样的变种，目前成为了深度学习应用到各个领域之中的标准方法。下面就来...
2018-11-26 14:03:13
14792
2
原创 深度兴趣演化网络— 阿里妈妈精准定向广告组
今天讲的博客参考了2019年的AAAI的一篇paper《Deep Interest Evolution Network for Click-Through Rate Prediction》，这又是阿里妈妈盖坤组新的一篇paper，同时也是之前公布的深度置信网络《Deep Interest Network》的进阶版。整体来说这篇paper最大的亮点还是体现在对于用户历史行为序列的建模上，之前的深度...
2018-11-11 23:05:23
1665
原创 一种强化学习在NLP文本分类上的应用模型
在胳膊骨折修养的这段期间，系统的学习了一下强化学习相关的知识。正好今天看到了黄民烈老师团队2018年在AAAI上发表的paper《Learning Structured Representation for Text Classification via Reinforcement Learning》。这篇paper以文本分类作为主要的任务，运用强化学习提出了两个模型：ID-LSTM和HS-LS...
2018-10-08 14:14:26
5129
原创 浅谈信贷评分卡模型
毕竟进入了金融安全这个坑，基本的信贷评分卡模型还是需要知道的，今天就综合各个方面的资料来讲解一下在信贷领域使用的最多的评分卡模型。整体来说，评分卡是信用风险评估领域的常用建模方法（刚开始是运用在信贷领域，后来这种思想被广泛地扩展到其他的领域：反欺诈，支付宝信用评估等）。这其实是一种很古老的概念了，大约在18世纪出现了信用卡的雏形，有了信用卡就需要对申请信用卡的人进行信用评估，因此自然而然的就有...
2018-09-11 15:25:23
16470
8
原创 金融风控基本知识（iforest，AUC，PSI，KS曲线）
最近，准备总结一些机器学习在金融风控方面的基础知识，毕竟最近自己也入了金融安全的坑。 首先要讲的知识点是一种异常检测算法——Iforest，该算法由周志华老师团队提出《Isolation Forest》，由于其计算复杂度比较低，被大量的运用在工业界中。下面我来介绍一下该算法工作原理：这个森林的每一棵树都是二叉树的结构，并采用完全随机的方式生成，即在进行叶子节点分裂的时候随机的选取特征，随机选...
2018-09-09 21:59:26
20381
4
原创 一种基于CNN的自动化提取n-gram feanture的文本分类模型
今天写的博客主要参考了清华大学黄民烈老师团队2018年在IJCAI上发表的paper《Densely Connected CNN with Multi-scale Feature Attention for Text Classification》。 这篇paper其实就是使用基于CNN的网络来进行文本的情感分类，但是它针对的问题是传统的多层次的CNN网络使用static窗口来进行卷积，每次针对...
2018-08-19 22:10:39
3617
原创 引入情感信息的chatbot
今天讲的内容主要参考了清华大学黄民烈老师团队在2018年在AAAI会议上发表的paper《Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memo》。这篇paper针对的场景是聊天机器人，使用的基本模型也是encoder-decoder架构。但是不同的是在聊天机器人...
2018-08-19 20:59:37
738
原创 利用用户搜索词生成商品标题信息——阿里巴巴IDST
今天介绍的论文是阿里IDST在2018年AAAI上发表的paper《A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data》。 其应用背景是，现在越来越多的用户开始习惯于使用手机、PAD等移动端进行网购行为，而这些移动端产品相比于传统的PC端来讲，其屏幕尺寸更...
2018-08-05 22:35:40
2561
原创 关于teacher-student(知识蒸馏)的一些思考与总结
最近看了两篇有关teacher-student架构的paper，感觉收获挺大的，今天就来总结一下。这个teacher-student模式架构主要的目的就是用来进行模型的压缩，属于model compression领域中的一种比较流行的做法。因为深度学习下为了能够获得更好的准确率，训练出的网络往往结构比价复杂，而对于一些在线预测任务来说，复杂的模型结构不利于线上预测任务的快速响应需求。故在该模型框架...
2018-08-05 18:35:38
33437
原创 基于用户历史行为数据的广告推荐模型
今天我们来讲解三篇利用用户历史行为数据建模的广告推荐模型，相比于传统的广告推荐模型，他针对用户历史行为进行了更好的建模，部分模型甚至仔细考虑了用户行为之间的时间间隔信息。第一篇主要参考了IJCAI 2018年的paper《A Brand-level Ranking System with the Customized Attention-GRU Model》。首先来说这个广告预测推荐的场景比较...
2018-07-23 16:41:42
8068
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人