自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

1066196847的博客

机器学习算法、工程专栏

  • 博客(135)
  • 资源 (1)
  • 收藏
  • 关注

原创 工程经验

一、如何某个项目下下面这样A B两个文件夹已经被idea 改变为:source directory,那么完全可以在 B 中 import A 中的某个代码二、假设有A版本的一些proto,我们生成对应的java文件;在A版本上又新增几个message,即使用老的A版本的那些java文件,也是可以解析出来新字段三、还是继续一种的问题,假设要引入的是A下面的 com.**.**.proto 这个文件夹下java文件,idea 却不能识别,标红答:肯定是因为那些java文件的package和

2020-10-18 14:04:02 19

原创 tf.embedding_lookup

idx = tf.SparseTensor(indices=[[0, 0, 0], [0, 0, 1], [0, 0, 4], [0, 1, 0], [0, 1, 1], [0, 1, 4], [1, 0, 0], [1, 0, 1], [1, 1, 0], [1, 1, 1], [2, 0, 0], [2, 1, 0], ...

2020-10-11 21:01:18 26

原创 sparse_to_dense

ids = tf.SparseTensor(indices=[[0, 1], [0, 3], [1, 2], [1, 3]], values=[2, 1, 1, 1], dense_shap...

2020-10-11 20:59:11 15

原创 (翻译)腾讯双图网络

题目:在推荐系统中对社交属性的深度表达来应用双图attention网络论文地址:https://arxiv.org/pdf/1903.10433.pdfABSTRACT社交推荐利用社交信息来解决传统协作过滤中的稀疏性和冷启动问题方法。但是,大多数现有模型都假设社会影响来自朋友用户的信息是静态的并且处于恒定权重的形式下或固定约束。为了减轻这个强有力的假设,在本文中,我们提出了双图attention网络来进行协作学习两种社交效果的影响程度,其中一个是建模user-attention权重,另一个.

2020-10-06 22:31:27 113

原创 (翻译)用Uber Eats进行食物发现:使用图谱学习提出建议

题目:用Uber Eats进行食物发现:使用图谱学习提出建议原文链接:https://eng.uber.com/uber-eats-graph-learning/Uber Eats应用程序作为门户网站,连接全球36个国家/地区的500多个城市的320,000多名餐厅合作伙伴。 为了使用户体验更加无缝和易于导航,我们预先向用户展示了他们可能喜欢的菜肴,餐厅和美食。 为此,我们之前开发了ML模型,以更好地理解查询,并在Uber Eats搜索和推荐系统中进行多目标优化,并在Uber Eats搜索和表.

2020-10-04 13:42:51 51

原创 (论文翻译)Cluster-GCN:一种有效的算法,用于训练深度和大规模图卷积网络

论文地址:https://arxiv.org/pdf/1905.07953.pdf图卷积网络(GCN)已成功应用在许多基于图的应用程序;但是,大规模的训练GCN仍然具有挑战性。当前基于SGD的算法要么以成倍增长的高计算成本来处理具有多层GCN,或者需要很大的空间才能将整个图和每个节点的嵌入存储在内存中。在本文提出了一种新的GCN算法Cluster-GCN,通过利用图聚类这种结构来进行优化速度和内存。 Cluster-GCN的工作方式如下:在每个步骤中,它都会通过图聚类算法,采样与识别出密集子图相关.

2020-10-02 20:23:59 122

原创 IntentGC:融合异构信息用于推荐的可伸缩图卷积框架

论文地址:https://arxiv.org/pdf/1907.12377.pdf论文题目:IntentGC: a Scalable Graph Convolution Framework Fusing Heterogeneous Information for Recommendation简介:这是阿里提出了一种利用多种辅助节点(brand品牌、shop商户、queryword搜索词)来生成多种邻域节点,从而训练user item的向量,达到推荐的目录,具体的重点描述可以参考:brand品牌、sh

2020-07-19 16:04:28 193

原创 元路径指导的异构图神经网络意向推荐

论文地址:http://www.shichuan.org/doc/67.pdf摘要:如今,随着移动电子商务的盛行,一种新型的推荐服务,称为意图推荐,广泛用于许多移动电子商务应用程序,例如淘宝和亚马逊。与传统查询推荐和项目不同推荐,意图推荐是根据用户的历史行为自动推荐用户意图,而无需用户打开应用程序时任何输入。在过去的两年中,用户潜在意图并避免在手机中输入繁琐的内容这一操作非常提高用户体验。工业上使用的现有方法通常需要复杂特征工程。而且,它们仅利用用户和query的属性和统计信息,而没有充分利用user和

2020-06-16 01:24:40 390

原创 大型网站推荐系统的图卷积神经网络应用

论文链接:https://arxiv.org/pdf/1806.01973.pdf摘要:图卷积深度神经网络的最新进展数据带来了推荐系统的最新性能系统基准。 但是,使这些方法变得实用且可扩展到具有数十亿个项目的Web级推荐任务数亿用户仍然是一个挑战这里我们描述一个我们在Pinterest开发和部署的大型深度推荐引擎。 我们开发了一种数据高效的图卷积网络(GCN)算法PinSage,结合了有效的随机游走和图卷积,生成这些节点的向量表示(eg:图片),包含着图结构以及节点特征信息。 相比以前的GCN方

2020-06-13 11:56:54 630

原创 强化学习开发黑白棋、五子棋游戏

这篇文章会从以下四个方面对“强化学习开发黑白棋、五子棋游戏”进行分析一、总述二、黑白棋游戏思路三、五子棋游戏思路四、分布式训练-------------------------------------------------------------------------------------------------------------------------------...

2020-02-04 22:21:44 1767

原创 Deep Reinforcement Learning for List-wise Recommendations

论文题目:多个item一起进行推荐的深度强化学习方法摘要:推荐系统通过给用户推荐个性化商品,在缓解信息超载或服务这些问题方面起着至关重要的作用。绝大多数传统推荐系统将推荐算法视为静态过程,并且根据固定策略提出建议。在本文中,我们提出一种新颖的推荐系统,该系统具有在与用户互动期间不断改进其策略的能力。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程(MDP),并且用强化学习(RL),...

2020-01-19 16:54:14 616

原创 tf.FIFOQueue 一些讲解

# -*- coding:utf-8 -*- import tensorflow as tf# data_1 = np.random.randn(3, 5) # print(data_1)data_1 = tf.placeholder(tf.float32, shape=[None, 2, 1, 3], name="s")# 20个随机的目标值,值为0或1target = n...

2020-01-17 21:07:56 133

原创 ps分布式,如何让ps和worker之间同步停止

在写ps分布式代码中,有一个很关键的问题,就是worker一旦训练完毕后,ps需要等待所有worker都停止,然后所有的ps再停止,而且需要紧密相连,根据博主的实践,为大家提供两种可行的办法,读者可以适当的选择合适自己的方法1:第一个比较简单def main(argv=None): if FLAGS.job_name == 'ps': with tf.device...

2020-01-17 20:51:18 295

原创 flink实时流与scala程序开发实用经验 - 十年磨两贱人

本文是作者在用 flink 开发实时流数据的时候,对 flink 的一些总结经验,其中会重点讲到 “数据倾斜” 的解决方案 + 源码文章结构:1:flink本地如何模拟topic的实时流2:flink在遇到数据倾斜的时候,应该怎么样写代码解决一、先模拟topic发送数据的例子1:在idea这个编译器上启动你的flink程序,这个程序里面最开始需要有个代码是设置你消费的数据从本地...

2019-11-29 21:53:58 333

原创 广告算法流量从1%增到到10%后效果变差该怎么办?

在广告算法工作的工程师们,肯定会遇到这样一个情况,在自己实验流量上(1%),自己做了一些变动(比如加特征、调整模型结构、增加策略),然后效果(ecpm/arpu/ctr/cvr)就好了起来,然后把这个小流量放大后(比如放大到10%),这个变动就不起效果了,甚至会变差。这是广告行业最容易遇到的一个问题,也是解决起来很麻烦的一个问题,但是也有一些通用的尝试逻辑,下面作者就说说自己的愚见。一:首先统...

2019-11-22 00:13:01 105

原创 推荐系统的个性化重排序

概要排名是推荐系统中的一项核心任务,旨在向用户提供项目的有序列表。通常,一个排序函数是从有标签的数据集中学习全局表现,从而为每个队里的item得到排序分数。但是,由于评分功能的方案,它可能不是最佳的适用于每个项目的方案,因为没有明确考虑项目之间的相互影响以及用户的偏好或意图。因此,我们提出了针对推荐系统的个性化重新排名模型。提出的重新排名模型可以轻松地作为后续模块进行部署,可以使用任何排名算法...

2019-11-11 21:03:07 1171 1

原创 传统机器学习模型要怎么来判断每个特征到底是怎么来预测的?

前面一篇文章推出了:图像分类算法,要怎么解释到底是因为什么才判断为A类比、B类比?这种是针对图像模型来进行模型细节分析。与图像相对的还有更加常见的文本数据训练出来的模型,比如推荐模型、搜索模型、风控模型等,这些数据学习出来的模型要怎么来判断到底哪个特征对某个分类最起作用?1:auc/acc/信息增益等(其中信息增益仅仅适用于决策树模型、逻辑回归模型、ftrl)拿auc来举例吧,往大范围了说...

2019-11-10 18:04:07 621

原创 图像分类算法,要怎么解释到底是因为什么才判断为A类比、B类比?

论文题目:迈向基于概念的自动解释(2019.8)作者:Amirata Ghorbani∗James Zou-》斯坦福大学,James WexlerBeen Kim-》谷歌原文链接:https://arxiv.org/pdf/1902.03129.pdf摘要:随着越来越多的机器学习(ML)模型被部署并广泛用于制定重要决策,可解释性已成为研究的重要课题。 最当前的解释方法中的...

2019-11-03 00:19:54 830

原创 机器之心中的“号内搜”到底用没用搜索算法?

博主是做搜索算法的,平时会研究、体验一些平台或者公司的搜索方面的东西,今天在使用机器之心的时候,没有像以前一样直接去看他们最新一期的文章,而是看到了里面的一个东西 ---- 搜索文章-号内搜,就体验了下这个东西。我主要想判断下里面到底是使用了什么样的搜索算法?一、当前情况记录当前里面一共有 805 篇文章,我搜的的“自然语言”这四个关键字,然后大约等了2~3秒,出来1529篇推荐,而...

2019-10-27 22:07:21 338

原创 用于强化推荐系统的Top-K非政策修正方法 - 论文翻译

原文链接:https://arxiv.org/pdf/1812.02353.pdf摘要:工业推荐器系统处理非常大的动作空间–数以百万计的项目需要被推荐。而且,他们需要为数十亿用户提供服务,这些用户在任何时间都是不一样的情况,使用户状态空间变得非常复杂。幸运的是,数量巨大已记录的隐式反馈(例如,用户点击次数,停留时间)可供我们训练模型来学习。但是从记录的反馈中学习可能会因为数据的原因学习到一...

2019-10-24 10:49:29 394

原创 搜索推荐算法系列文章整理

博主近期花了几个月时间,将搜索推荐行业一些经典的模型算法进行了整理,有的还加入了自己的浅显理解,还有一些是自己的经验文章,也都是搜索推荐行业,这个系列算是做完了,特来整理下每篇文章的链接和简要介绍读懂、了解这些文章,基本上搜索推荐行业就可以算入门了,都是一些很经典的技术一、经典模型算法系列1:16年Youtube提出一篇dnn的模型方法,这也是用深度学习做搜索的一篇挺早的文章...

2019-09-28 01:16:16 2956 1

原创 wide-deep论文翻译(六)

题目:Wide & Deep Learning for Recommender Systems摘要具有非线性特征变换的广义线性模型被广泛用于稀疏输入的大规模回归和分类问题。通过一系列方法来记忆特征交互效果是有效且可解释的,而泛化则需要更多的特征工程工作。用更少特征工程的时候,深度神经网络可以通过低纬度的embedding向量学习到更多隐藏下的特征组合,以此构建一个更好的稀疏模型。...

2019-09-24 10:55:17 256

原创 利用源码对deepfm中的fm层 dnn层进行讲解(五)

因为wide-deep和deepfm有很大的相似点,这篇文章之后,博主会再次带来wide-deep的理解,也是论文+难点分析deepfm论文的翻译:https://blog.csdn.net/a1066196847/article/details/100997968一、在 deepfm 中,从网络图结构中就可以看到有一部分是 fm方式对特征处理的 部分,一部分是dnn方式对特征处理后...

2019-09-22 16:41:48 640 5

原创 deepfm算法论文翻译(五)

DeepFM:基于因式分解机的CTR预测神经网络摘要学习复杂的用户行为特征的交互特点,对于推荐系统最大化点击率至关重要。 尽管取得了很大进展,但现有方法似乎在低阶或高阶交互中,有很强的偏见,或需要专业知识特征工程。 在本文中,我们展示可以推导出强调低阶和高阶特征交互的端到端学习模型。 准备提出的模型,DeepFM结合了分解机的功能,用于推荐和深度学习在新的神经网络架构中进行特征学习。 与最新...

2019-09-19 17:49:22 605

原创 PNN论文翻译 - 基于点乘的用户响应神经网络预测(四)

摘要 - 预测用户响应(例如点击次数和转化次数)非常重要,并已在其中使用许多Web应用程序,包括推荐系统,Web搜索和在线广告。这些应用程序中的数据主要是类别特征,包含多个字段;一个典型的表示是将其转换为高维稀疏通过独热编码的二进制特征表示。面对极度稀疏,传统模型可能会限制其从数据中挖掘出的信息,即低阶特征组合。像深度神经网络这样的深层模型,不能直接申请高维输入因为巨大的特征空间。在本文中,我们提...

2019-09-17 17:36:17 342

原创 Youtube论文的要点,你真的懂了吗?(一)

总述:Youtube在2016年发布的一篇DNN+搜索推荐的文章,名为Deep Neural Networks for YouTube Recommendations,对当时甚至现在各大公司的技术都产生了广泛的影响,博主前段时间也对这篇论文做了下翻译,可以参考:Youtube论文翻译,当时只是笼统的把所有内容都说了一下,但是对里面比较重要的几点没有详细阐述,现在再起一篇文章,对里面的以下几点做详细...

2019-09-15 12:03:53 530 1

原创 google-ftrl原理论文翻译 - 遵循规范领导者和梯度下降:等价定理与L1正则化

谷歌的ftrl算法一直被各个公司的推荐系统所应用,而算法一共有两篇论文讲解1:ftrl算法原理讲解:http://proceedings.mlr.press/v15/mcmahan11b/mcmahan11b.pdf2:ftrl工程化实现讲解:https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs...

2019-09-14 10:13:43 198

原创 交叉熵,怎么理解,你自己可以很方便的实现吗?

在训练深度学习模型的时候,经常会设计到交叉熵的计算,特征是在推荐系统中,深度模型的结尾往往都是这样一个交叉熵计算loss,而且很方便的就从tensorflow中调用了下,今天我给大家从代码 + 数学角度,自己实现一个交叉熵,然后和直接调用的结果做个对比看看。tf.reset_default_graph()import tensorflow as tf #真实值logits=tf.co...

2019-09-13 20:17:09 76

原创 谷歌13年提出来的类似于lr的算法 - ftrl论文翻译(七)

论文链接:https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/41159.pdf概要预测广告点击率(CTR)是一个巨大的规模学习问题,是在线广告业数十亿美元的核心问题。 我们从最近的实验中选择出来一个案例,这种方法的研究和主题设置都已部署的CTR预测系统。 这些包括基于FTRL...

2019-09-04 15:22:00 409

原创 阿里兴趣网络DIN网络中几个关键的点(三)

总述:博主前些天对DIN网络进行了论文翻译,在翻译后,又对源码进行了研究,最后将DIN网络的重点进行了归纳,可以总结出这样几个关键点来1:DIN中的attention方法:利用本地激活层,用于自适应学习用户的历史兴趣和当前要预估的item的权重2:评价指标:gauc3:Dice激活函数:数据自使用激活函数,类似于prelu4:自适应正则:改变了以往l2正则需要耗费大量计算资源的现状...

2019-09-01 19:19:08 1094 4

原创 阿里巴巴线上使用的深度学习兴趣网络 DIN (三) - 论文翻译

总述:阿里巴巴拥有世界上数一数二的电子商务系统,每天的成交额高达数十亿,那么这样一个大规模的商务网站肯定要做好一件事情,那就是用户搜索的时候给用户最好的搜索结果,用户不搜索的时候结合用户的兴趣给用户最感兴趣的商品,那么他们到底用的是什么办法,这个可以从他们最新最出名的一篇这方面的文章得到,那就是“深度学习兴趣网络”!本文先从论文翻译入手,后续还会给出源码理解、以及博主的实践理解题目:...

2019-08-13 19:49:08 1573

原创 神经网络中的attentin机制 + 如何使用(翻译文章)

原文链接:http://akosiorek.github.io/ml/2017/10/14/visual-attention.htmlattention机制在阿里DIN网络中应用的很好,提升的不错的效果,而且从DIN之后,又有很多研究工作对这个进行了改进,也都取得了相应的效果,所以attention是基础题目:神经网络中的attentin机制 + 如何使用神经网络中的 atten...

2019-08-13 09:33:34 201

原创 神经网络 - 候选集采样 - Candidate Sampleing

在youtube那篇文章中,提到了在召回阶段使用user和item的向量点乘法来进行选取topN,但是训练这样一个多分类模型时有一个softmax算loss的过程,由于item数量比较大,所以需要对候选集进行采样,这篇文章就是这样一个由来1:原文链接https://www.tensorflow.org/extras/candidate_sampling.pdf2:翻译我们有一...

2019-08-05 18:14:19 286

原创 tf.train.Features TypeError: init() takes 1 positional argument but 2 were given

1:出错截图2:解决办法

2019-08-04 13:31:11 102

原创 搜索推荐业务场景下的特征系统搭建

前提:今天受朋友的邀约,结合自己在推荐搜索系统下的经验,对企业级别特征工程应该如何进行设计,进行了一次分享,下面将这次分享的内容记录下来,以便有需要的朋友进行查看一、融合众多推荐系统、搜索系统下的,特征系统的总结1:一个好的特征搜索推荐业务特征体系一定要全面来进行设计,全面体现在这样几个板块上 (1):分商户、用户来进行提取(商户特征、用户特征、上下文特征) (2...

2019-07-25 14:29:10 830

原创 安装tensorflow-gpu+cudnn+cuda

1:先安装anaconda(4.2.0版本对应python3.5)https://repo.anaconda.com/archive/2:https://tensorflow.google.cn/install/pip在这个网页上按照介绍,在一个虚拟环境中安装tf不过不用执行那么多conda create -n tensorflow pip python=3.5...

2019-07-22 16:42:57 212

原创 YoutuBe 是如何利用深度学习解决搜索推荐问题的? (一) - 论文翻译

总述:这篇文章是先从论文翻译入手,讲解下 YoutuBe 里面是如何利用深度学习做搜索推荐的。YoutuBe 的这篇文章基本上是深度学习做搜索推荐的一篇“鼻祖”文章,在那年提出来这个之后,有很多公司都在这个基础上去试验新的办法(比如阿里的DIN,就是以这个为 baseline 作为效果对照标准),或者直接采纳为公司里面的线上模型方法。本文先从论文翻译入手,后续还会给出源码理解、以及博主的实践理...

2019-07-22 09:03:32 1145

原创 tf.losses.softmax_cross_entropy - ValueError: Shapes (1, 1001) and (1001,) are incompatible

1: 出错代码cross_entropy = tf.losses.softmax_cross_entropy(onehot_labels=one_hot, logits=logits,label_smoothing=0.0,weights=1.0)输入的两个数据集onehot_labels.shape 为(1001,)logits.shape 为(1, 1001)...

2019-07-20 01:41:05 912

原创 inception.inception_v3(input_image) - 报错but specified dtype float64 and found dtype float32_ref

1:出错行的代码with slim.arg_scope(inception.inception_v3_arg_scope()): logits_inception_v3, end_points_inception_v3 = inception.inception_v3(input_image, num_classes=num_classes, is_training=False, s...

2019-07-20 00:24:54 436

原创 pycharm中如何去掉代码下面的下划线、波浪线等

1:File->settings,就可以看到下面这个界面这个界面就是控制 那些下划线、波浪线首先看看代码中自己要去掉的那些线是什么颜色的,然后在 截图页面中【右下角】点击相应颜色的先,然后把【右上角】 Effect前面的 对勾去掉,然后 Apply -> OK ,然后在在编辑框中点一下 就可以看到那些线没有了2:编辑器右下角这三种中,None Systax功能...

2019-07-16 21:10:08 8820

翻译:Deep Learning Recommendation Models for Personalization and Recommend

facebook - Deep Learning Recommendation Models for Personalization and Recommendation Systems 中文翻译 不想下载的,可以访问我的博客链接:https://blog.csdn.net/a1066196847/article/details/94781732

2019-07-07

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除