hellozhxy的博客

看了关于torch.cat函数的文章，有点乱，自己总结一篇，关于四维tensor合并.

GAN 自从被提出后，便迅速受到广泛关注。我们可以将 GAN 分为两类，一类是无条件下的生成；另一类是基于条件信息的生成。近日，来自韩国浦项科技大学的硕士生在 GitHub 上开源了一个项目，提供了条件 / 无条件图像生成的代表性生成对抗网络（GAN）的实现。

0. 引言自2014年Ian Goodfellow提出了GAN（Generative Adversarial Network）以来，对GAN的研究可谓如火如荼。各种GAN的变体不断涌现，下图是GAN相关论文的发表情况：图1 GAN相关论文发表情况大牛Yann LeCun甚至评价GAN为 “adversarial training is the coolest thing since sliced bread”。那么到底什么是GAN呢？它又好在哪里？下面我们开始进行介绍。1. GAN的

在机器学习中总能碰到各种分布，尤其是概率分布，今天就把它们都号召起来，聚集于此好好掰持掰持.ps,期望:E[.];方差:var[.];协方差:cov[.,.];1,均匀分布均匀分布(uniform distribution)是关于定义在区间[a,b]上连续变量的简单概率分布,其概率密度函数如下图所示:不难发现，若变量x服从均匀分布U(x|0,1)且a<b,则a+(b-a)x服从均匀分布U(x|a,b)2,伯努利分布伯努利分布(Bernoulli dIstri..

前言随着号称“地表最强”的千亿参数规模GPT-3模型在 NLP 领域横扫各大数据榜单，大力出奇迹的暴力美学似乎成为了大数据场景建模的不二法门。搜索、推荐和广告场景的 CTR 模型也不例外，同样动辄千亿参数规模、上T体积大小的 CTR 模型成为了同行争相追逐的建模标配。但是无论面对生产运维环境，还是实验迭代环境，它对存储规模和计算性能的要求都是巨大的挑战。而且随着存量算力的逐渐耗尽和增量算力的趋势放缓，它的“大力暴力”成为了业务算法迭代的沉重负担。阿里妈妈搜索广告模型团队通过系统性的算法实践让原本庞大..

前言：写本篇是为了记录一下之前阅读过的一些关于联邦学习的文章（主要是两篇联邦学习综述），然后对其中的一些关键点进行了总结，并加入了个人对于联邦学习这一研究领域的理解以及思考（侵删）。可供参考链接：https://www.cnblogs.com/lucifer1997/p/11875615.html https://www.cnblogs.com/lucifer1997/p/11223964.html目录：　　Abstract　　1　　Introduction　　2　　An Over...

今天我们来讲下最近比较博眼球的联邦学习。应该很多人听过但是始终都没懂啥是联邦学习？百度一下发现大篇文章都说可以用来解决数据孤岛，那它又是如何来解决数据孤岛问题的？对于联邦学习，大部分文章还都处于其学术分享会的报道阶段，并未详细介绍联邦学习的实现方法，难以理解其真容，本篇文章将从技术角度介绍联邦学习。1、联邦学习的背景介绍近年来人工智能可谓风风火火，掀起一波又一波浪潮，从人脸识别、活体检验发现刑事案件报警到阿尔法狗大战人类围棋手李世石、再到无人驾驶、以及已被普遍应用的精准营销，AI逐步进入人们生活的方

1 背景美团外卖业务种类繁多、场景丰富，根据业务特点可分为推荐、广告、搜索三大业务线以及数个子业务线，比如商家推荐、菜品推荐、列表广告、外卖搜索等等，满足了数亿用户对外卖服务的全方面需求。而在每条业务线的背后，都涉及用户、商家、平台三方面利益的平衡：用户需要精准的展现结果；商家需要尽可能多的曝光和转化；平台需要营收的最大化，而算法策略通过模型机制的优化迭代，合理地维护这三方面的利益平衡，促进生态良性发展。随着业务的发展，外卖算法模型也在不断演进迭代中。从之前简单的线性模型、树模型，到现在复杂的深度学

PU learning背景PU learning(positive-unlabeled learning)，即我们只有正样本和未标注的样本，以此进行分类学习。其可在以下几个领域内应用：检索从大量无标注的样本中选取特定的样本，比如人脸标注异常检测包括inlier-based outlier 检测序列数据检测负样本的分布随着时间改变，这样传统的分类将不再适合，PU 只需要更新未标注样本，这样的花销更小，比如垃圾邮件检测，由于存在对抗，负样本（垃圾邮件）的形式一直在变，而非垃圾则一般相对稳定状

一、背景介绍现实生活许多例子只有正样本和大量未标记样本，这是因为获取负类样本较为困难、负类数据太过多样化且动态变化。比如在推荐系统，用户点击为正样本，却不能因为用户没有点击就认为它是负样本，因为可能样本的位置很偏，导致用户没有点击。PU Learning（Positive-unlabeled learning）是半监督学习的一个研究方向，指在只有正类和无标记数据的情况下，训练二分类器，伊利诺伊大学芝加哥分校（UIC）的刘兵（Bing Liu）教授和日本理化研究所的杉山将（Masashi Sugiya

论文：Detecting positive and negative deceptive opinions using PU-learningPU-learning是一种只有正样本的半监督的二分类器。在实际工程应用中，有时候我们会遇到只有正样本而没有负样本的分类任务，或者说负样本是不纯的，即负样本中掺杂有部分正样本。PU-learning提供了一种选择可靠负样本的机制，具体算法如下：原始的PU-Learning算法解释：1:先用正样本（positive）与未标注样本（或者称作无标签样...

摘要随着数字营销4.0的日趋成熟，大数据营销成为营销科学的研究重点，而其中，销量的准确预测具有重要意义，它对于自身营销规划、市场分析、物流规划都有重要意义。但是销量的预测受影响复杂，传统的基于统计的计量模型，比如时间序列模型等由于对现实的假设情况过多，在实际场景中应用，本文利用R语言和Python梳理并实现了当前主流的电商销量预测方法：第一类是计量统计模型，以ARIMA为代表；第二类是机器学习模型，主流的是基于树的集成学习，第三类是深度学习模型，主要以循环神经网络LSTM/GRUs为主的深度学习框架。本

NLP提效，除了选择合适的模型，就是数据增强了作者：十方，公众号：炼丹笔记如何用有限的数据做出最佳的效果？除了一个优秀的模型以外，最有效的方法就是做数据增强了。自然语言处理(NLP)不同于图像，可以做裁剪，反转，缩放等操作来增强，而是有文本特别的处理方式。这篇论文《CODA: CONTRAST-ENHANCED AND DIVERSITYPROMOTING DATA AUGMENTATION FOR NATURAL LANGUAGE UNDERSTANDING》提出的CoDA方案号称能在Robert

Improving Deep Learning For Airbnb Search（KDD20)本文是一篇偏实践的文章，不讲太多虚的，什么有效什么无效，您请细品！将深度学习应用于搜索排名是Airbnb最具影响力的产品改进之一。但在推出深度学习模式之后，接下来会发生什么呢？在本文中，我们描述了超越的历程，讨论了我们所说的改进搜索的ABC：A表示体系结构; B表示偏差; C表示冷启动。对于体系结构，我们描述了一个新的ranking神经网络，重点放在我们现有的DNN超越完全连接的两层网络的过

导读：本次分享的主题为阿里妈妈品牌广告中的 NLP 算法实践，主要内容包括：1. 品牌广告业务模式与技术架构的简要介绍2. NLP 算法在品牌搜索广告中的实践，以两个具体的算法问题展开：品牌意图识别和短文本相关性▌品牌广告业务模式与技术架构1. 阿里妈妈品牌广告业务概况阿里妈妈品牌广告构建了丰富的产品矩阵，有强大的生态资源支撑，其中手淘是最大的资源方，阿里系的多个 APP 也是我们重要的资源提供方。品牌广告产品分为两个重要方向——品牌展示广告、品牌搜索广告。其中品牌展示包括超级风暴，

XGBoost是一种经典的集成式提升算法框架，具有训练效率高、预测效果好、可控参数多、使用方便等特性，是大数据分析领域的一柄利器。在实际业务中，XGBoost经常被运用于用户行为预判、用户标签预测、用户信用评分等项目中。XGBoost算法框架涉及到比较多数学公式和优化技巧，比较难懂，容易出现一知半解的情况。由于XGBoost在数据分析领域实在是太经典、太常用，最近带着敬畏之心，对陈天奇博士的Paper和XGBoost官网重新学习了一下，基于此，本文对XGBoost算法的来龙去脉进行小结。本文重点解析XG

导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践，以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模，包括用户多兴趣点挖掘、多空间长短期兴趣建模，以及音乐场景下的用户兴趣演化网络建模。主要内容包括： 网易云音乐简介 召回体系探索 精排模型演化历程

导读：大家好，今天分享的题目是 AutoML 在表数据中的研究与应用。对于 AutoML，大家听到比较多的可能是神经网络结构搜索 ( NAS，Neural Architecture Search )，NAS 主要应用于图像，而我们的工作主要应用于解决表数据 ( Tabular Data ) 中的建模问题。目前 NAS 在表数据中的研究较少，有兴趣的小伙伴可以尝试。第四范式 AutoMLTables的效果我们选取了10个 Kaggle 比赛数据，分别通过第四范式 AutoML Tables 和 G..

今天讲讲字节的一个召回的文章：《Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations》(公众号后台回复【dr】可下载)召回因为候选集个数多，一般用MIPS的思路做，这样的问题在于：1、向量最大内积模型表达 能力有限，缺少特征交互；2、ANN的时候会通过聚类减小候选集(IVFAQ)，但是这个聚类建立索引的过程，跟召回模型的训练是分开的，效果肯定不好；可能存在召回模型学好了，但是

开一个系列，主题是推荐算法工程师成长路径。目标是希望填补书本上的机器学习理论与业界推荐算法工程师知识体系上的gap，了解一些业界模块的通用玩法。目标群体是针对以下用户:有一些代码和机器学习基础，但是没有从业经验的在校学生 刚刚入坑的算法工程师，可以对照一起探讨 对推荐系统感兴趣的其他朋友欢迎关注一起探讨，也欢迎关注我的微信公众号: 峰池 (fengchitalk)。前两篇，我们分别讲了推荐算法所需要的一些工程基础，和在推荐算法的召回模块的一些通用解法：峰池：推荐算法工程师成长路径0——工程

几个月前，AIZOO曾经盘点过最强六大开源轻量级人脸检测项目分析 | 附打包下载，nihate同学将它丰富到10种算法，并用Python.对他们进行了汇总整理，以及效果的对比。Github链接：https://github.com/hpc203/10kinds-light-face-detector-align-recognition 可以阅读原文跳转。原文：https://blog.csdn.net/nihate/article/details/108798831最近在微信公众号 AIZO..

这里是「王喆的机器学习笔记」的第九篇文章，今天我们重读一篇经典的CTR预估领域的论文，Facebook在2014发表的“Practical Lessons from Predicting Clicks on Ads at Facebook”。在这篇文章中，Facebook提出了经典的GBDT（Gradient Boosting Decision Trees）+LR(Logistics Regression)的CTR模型结构，可以说开启了特征工程模型化、自动化的新阶段。此外其在五年前就采用的online

“本文结合DeepCTR-Torch中的代码实现，介绍了DCN的改进版——DCN-M。该模型能更有效地学习特征交叉，并通过低秩矩阵分解对参数矩阵进行降维，降低计算成本。受MOE结构启发，作者还在多个子空间中建模特征交叉。实验表明，传统的基于ReLU的神经网络在学习高阶特征交叉时效率较低；DCN-M能够在保证效率较高的同时，取得优于SOTA方法的效果。”本文介绍的论文是《DCN-M: Improved Deep & Cross Network for Feature Cross Learning.

目前按照文章的主题大致分成了下面几个模块，每个模块内都是按照发表时间由近到远排列： 排序&CXR预估 召回匹配 用户画像&特征工程 推荐搜索综合 计算广告 大数据 图算法 NLP&CV 求职面试 由于微信的文章不方便经常更新，我把这份目录也同步在了github上，并且支持主题跳转。对于想要实时获得最新更新的同学，可以关注一下https://github.com/shenweichen/AlgoN

出品社区：DataFunTalk 前言 推荐系统是驱动内容分发的引擎，而个性化则是推荐系统的核心思想。分类模型和排序模型是业界常用的两种个性化建模方式。本文探讨两种方法的异同点，总结如下： 分类模型回答的是用户喜不喜欢这个物品，而排序模型回答的用户更喜欢哪一个； 在对事件发生的假设上，分类模型认为个样本之间相互独立且服从相同的分布，排序模型认为同组内部的样本是有关联关系和可以相互比较的； 从Bayesian 的观点来看，分类模型刻画的是<user,ite...

导读：本文来自作者的学习笔记。主要讲解Graph中社群的概念，然后介绍了一种简单的社群发现算法Louvain Algorithm，最后提供可重叠的社群发现，提出BigCLAM算法，用来识别节点从属关系。01Granovetter's theory马克·格兰诺维特（Mark Granovetter，1943年10月20日－），美国社会学家，斯坦福大学教授。格兰诺维特是论文被引用最多的学者之一，根据 Web of Science 的数据，社会学论文被引数排名第一和第三的文章皆出自格兰诺维特之手。格兰

导读：本文主要介绍了百度搜索广告系统 ( 凤巢 ) 的新一代多目标召回系统架构，相比于经典召回排序两段架构，能在保证召回相关性的同时引入诸如CPM等排序层的优化目标，从而提升整体系统的效率。01创新点1. 在召回层保证相关性的同时引入了CPM等业务指标作为召回的依据。2. 将以往的CTR预估模型融合到召回层中，提出一种全新的多目标商业召回系统架构。02论文背景在大部分公司的商业广告系统架构中，都会采用经典的“漏斗”结构，即召回——粗排——精排——重排序等模块，在现有的召回模块中，

导读：本文在明确“推荐系统个体多样性优化”主题后，由整体架构出发，清楚阐述了在召回层、规则层、多样性层的优化细节。在MMR和DPP算法部分既有原理也有实践，最后用图表方式展示出了效果对比，并且结合自身业务特点做了针对性的距离设计。01背景在推荐系统中，衡量系统好坏的指标，除了相关性之外，多样性也是重要的指标之一。但多样性和相关性之间往往存在一些矛盾的地方，本文从业务指标的角度，探讨了多样性和相关性之间如何权衡的思想方法，介绍了多样性算法的落地实践方案，最终达到了通过多样性手段提升业务指标的目的。

导读：向量化在业界的运用越来越广，近期也有许多文章分享过相关的主题。严选于18年下半年开始探索向量化在搜索推荐场景中的运用，从最开始基于商品召回用户的任务到后续的搜索召回、搜索个性化排序、搜索底纹、搜索发现词、搜索建议词、跨类目推荐、推荐召回、多兴趣召回、通用排序、端智能重排等等，我们不断拓宽向量体系在严选的运用，在这过程中一点点迭代与沉淀。本文将从模型算法和落地运用等角度做简要介绍，希望能给读者一些启发。01向量体系上图是对严选向量体系的一个概览。引言中说了那么多运用场景，第一眼看会觉得有

导读：AliExpress 搜索重排项目在去年6 月份时全量发布了第一个 fined tuned的 DNN 版重排模型，本次的工作作为上一版本的升级，在日常、大促时的表现均有显著优势。本文将深入浅出强化学习框架重排实践，并引出几个潜在的提升空间。01商品排序中的重排商品排序的目的，很大一部分是为了让高效的商品获得更好的展示机会，匹配用户的需求。一种主流的思路是，商品对于用户的某次请求来说，是有好坏之分的。而从展示的位置的角度来看，越靠前的商品越能够获得曝光机会上的优势。于是，通过模型对商品打..

导读：如今，在电子商务、物联网等领域，推荐系统扮演着越来越重要的地位。如何根据用户的历史行为和项目的特征信息，判断用户对商品是否感兴趣成了重要的研究问题之一。日前，第四范式提出了全新的深度神经网络表数据分类模型——深度稀疏网络 ( Deep Sparse Network，又名NON )，被机器学习顶会SIGIR 2020收录。本次分享将带你全面了解NON模型的提出动机、整体结构、局部特点以及突出贡献。01背景介绍首先对推荐系统和深度学习进行简单的介绍。什么是推荐系统？什么是深度学习？1. R

导读：58同城作为分类信息网站，服务覆盖多个领域，如房屋租售、招聘求职、二手买卖等等，不同的业务有不同的特点，这使得多业务融合推荐成为一大挑战。如何准确挖掘用户的需求？如何平衡各业务之间的流量分配？如何增加多样性提升用户体验？这些问题将在本次分享中解答。01推荐系统整体架构58的推荐系统架构主要分成三部分： 对外接口层：负责对外输入输出、展示功能，服务于首页、详情页等等场景； 业务逻辑层：包含推荐系统的主要模块，如兴趣服务、召回模块、排序模块等； 数据算法层：负责底

导读互联网企业的核心需求是“增长”，移动互联时代下的在线旅游业也不例外。随着大数据、云计算和人工智能等技术的不断进步，通过算法和模型来实现增长已成为核心。近年来推荐系统迅速崛起，主要解决在信息过载的情况下，帮助用户高效获取感兴趣的信息，同时帮助企业最大限度的吸引用户、留存用户、增加用户黏性、提高用户转化率。因此个性化的推荐服务对于在线旅游业也变得非常重要，通过推荐能够将用户从众多的旅行选择中解放出来，指导用户快速找到感兴趣的项目，大大简化用户的旅行计划和购买。在线旅游服务...

“本文介绍了一种新的用户偏好表示方法PreHash ，同时考虑到了大规模数据和冷启动用户。该方法可以在很多推荐算法中替代其用户embedding矩阵。若干SOTA算法上的实验结果显示该算法不仅取得了更好的效果，还减少了模型的参数。”作者：胖鱼，北京交大研究生在读，方向为机器学习，推荐系统。「0摘要：」论文标题：Beyond User Embedding Matrix: Learning to Hash for Modeling Large-Scale Users in Recommendat..

▼相关推荐▼1、基于DNN的推荐算法介绍2、传统机器学习和前沿深度学习推荐模型演化关系3、论文｜AGREE-基于注意力机制的群组推荐（附代码）4、论文｜被“玩烂”了的协同过滤加上神经网络怎么搞？ 本文包含（文章较长，建议先收藏再阅读，点击文末的阅读原文，查看更多推荐相关文章）： DSSM DSSM的变种 MV-DNN Google Two Tower Model 广告场景中的DSSM双塔模型 总结 基于深度学习的..

分享嘉宾：弘轶、寻潇、溪怀@飞猪编辑整理：郭嘉伟内容来源：DataFunTalk导读：个性化投放的"无人驾驶"平台何以自动化支持上千个场景的千人千面投放？商家、运营、小二，我们如何做到极致赋能和提效？面对旅行场景下用户需求低频、行为稀疏，特别是在营销活动大促期间，用户量迅速增长，用户的冷启动问题更加严峻，如何提高冷启动用户的推荐效果成为关键。另外，面对旅行场景下的丰富多样的的货品需求依赖关系，我们如何来组织和呈现给用户？阿里飞猪个性化推荐团队将通过本文，为大家带来旅行场景下的个性化营销平台.

作者：sauronzhang、flashlin、fengshanliu，微信后台开发工程师1. 背景在一些推荐系统、图片检索、文章去重等场景中，对基于特征数据进行 k 近邻检索有着广泛的需求：支持亿级索引的检索，同时要求非常高的检索性能； 支持索引的批量实时更新； 支持多模型、多版本以灵活开展 ABTest 实验； 支持过滤器、过期删除以排除不符合特定条件的数据。在经过调研后，发现已有的解决方案存在以下问题：在学术界中，已经存在有成熟并开源的 ANN 搜索库，然而这些搜索库仅仅是作为单

背 景微信公众平台作为目前用户量最大的互联网原创内容平台之一，每日新发表的文章可达几百万篇。用户可以通过关注公众号、朋友圈、聊天转发等渠道阅读文章。除了前述几种方式以外，用户很难再有其他方式发现更多有趣的文章。因此，看一看个性化推荐应运而生。我们利用用户在微信内的阅读、关注、分享等信息，结合目前最新的深度学习算法，为用户推荐最符合兴趣的文章。除了文章以外，我们也接入了腾讯视频、企鹅号、竖屏小视频等内容，大大丰富了推荐的内容多样性。整体架构看一看的整体架构如...

“本文对Transoformer模型进行了深度解读，包括整体架构，Attention结构的背景和细节，QKV的含义，Multi-head Attention的本质，FFN，Positional Embedding以及Layer Normalization等一切你想知道的内容！”作者：潘小小，字节跳动AI-Lab算法工程师，专注机器翻译，会讲法语，喜欢音乐，写文，记录，无人机航拍（刚入坑）。文末有内推链接，欢迎勾搭投递！！「Transformer」是2017年的一篇论文《Attenti...

“本文介绍了Online Learning中的基本概念，方法分类，经典算法以及在工业界的应用和学术界的最新进展，帮助大家快速的了解在线学习的相关知识～”文章来源：https://zhuanlan.zhihu.com/p/65001235本文仅供学术交流，如有侵权，请留言联系小编进行删除。Online Learning 基本概念Online Learning ⽅法分类：在线学习实际上就是没来⼀个/批样本增量更新⼀次，主要有两类：• 基于贝叶斯公式，这种更新⽅式⾮常⾃然。有名的应⽤.