自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

yichudu

技术博客

原创 常用损失函数及tf实现

hinge_loss L(y,y^)=max(0,1−yy^)L(y,\hat y) = max(0,1-y\hat y)L(y,y^​)=max(0,1−yy^​) where y∈{−1,1},y^∈Ry \in \{-1,1\}, \hat y \in Ry∈{−1,1},y^​∈R. cr...

2019-05-07 14:32:28 355 0

原创 TensorFlow 常用类与方法

简述 Google开源, 支持包括CNN、RNN、LSTM等多种神经网络模型. API 快速参考点 这里. 国内环境可以访问 google 的cn站点, 点 这里。 graph 与 session graph 与 session, 前者是静态的神经网络计算图; 后者是有数据流动的动态...

2017-08-16 09:59:03 1292 1

原创 最优化算法 总述

Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limi...

2017-06-26 09:30:25 1340 0

原创 地理空间计算, geographical computation

GPS坐标 国际惯用 (维度,经度).degree 格式、 两点间的距离计算 三方库 from geopy import distance class gps: def __init__(self, latitude, longitude): self.latitude...

2020-05-22 14:19:48 58 0

原创 分类任务简述及超大规模任务设计

鸢尾花分类 多类别 Multiclass classification: classification task with more than two classes. Each sample can only be labelled as one class. 多标签 Multilabel cl...

2020-04-28 16:41:28 67 0

原创 RNN 中的 GRU

背景 GRU与LSTM效果相当但复杂度更低, 所以更多情况下它是首选. 参考 paper, 2014, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

2020-04-24 13:09:01 101 0

原创 residual connection, 残差链接

背景 更深的网络理论上会有更强的表达能力, 但实际训练中遇到的问题是层数加深后, 训练集误差不降反升. 图: layer-20 与 layer-56 的比较, 后者训练集误差更大 residual-connection 标准实现 图: 维度一样, 可以直接相加, 可以是 a+b, 或 tf.a...

2020-03-27 16:01:03 214 0

原创 List-wise Ranking

背景 ranking is a prediction task on list of objects. 所以 point-wise, pair-wise 等方法的训练任务与工作场景有差异, list-wise 理应更好. list-wise ranking with S-IE 该改论文见参考[1]...

2020-03-08 15:21:09 117 0

原创 基于Bert的Vison-Language多模态网络

多模态任务 VQA 用自然语言对给定图片作相关提问. Image-text retrieval 图像-文本 跨模态检索,任务是根据语言描述,从候选中选定相关的图片, 反之亦然, 即也可以给定图片选文本.数据集如MSCOCO ,Flickr30K. 模型套路 模态表示 文本. 同Bert一致,...

2020-03-03 16:09:34 314 0

原创 SR-GNN, 图网络召回

简述 将用户的session序列构建成有向图,通过考虑item之间的转移关系, 更好的学习item emb及用户的向量表达. related work 一些流行的GNN演变. word2vec, DeepWalk, LINE, node2vec. 结构及解读 网络结构 nodes connect...

2020-02-25 23:04:54 212 0

原创 MMoE 多任务学习

背景 论文见[1]. MMoE, Multi-gate Mixture-of-Experts. 底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了. 网络结构 ...

2020-02-15 12:13:33 786 0

原创 多模态,常用数据集

VQA Visual Question Answeing. 看图并回答用自然语言表述的相关问题. 问题包括 The goal of visual question answering (VQA) (Antol et al., 2015) is to answer a natural languag...

2020-02-06 13:57:04 790 0

原创 多模态机器学习,MMML

总述 多模态通常指 语音/文本/图像 等不同形态的特征. 同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态. 很多人工智能的应用, 会同时涉及到多种模态的信息,所以它成了一个研究分支. 该分支下有以下几个领域. 多模态表示学习 multimodal representa...

2020-01-27 23:43:31 391 0

原创 tf predict 模型的预测模式

训练模型就是为了让其作预测. 笔记如下. model_fn 预测的原理是, tf 进程构建了预测 mode下的计算图, 然后从 model_dir 中恢复变量, 就绪后作预测. # _model_fn 定义 def _model_fn(features, # This is batch_feat...

2020-01-08 15:28:36 673 0

原创 数学基础

多项式 由数或字母的积组成的代数式叫做单项式,单独的一个数或一个字母也叫做单项式。 单项式中的数字因数叫做这个单项式的系数(Coefficient),一个单项式中,所有字母的指数的和叫做这个单项式的次数(Degree of a monomial)。单项式是几次,就叫做几次单项式。 在数学中,由若干...

2020-01-05 10:40:09 44 0

原创 tensorflow, 从指定ckpt中恢复variable

用途 使用 tf.train.init_from_checkpoint(ckpt_dir_or_file, assignment_map) ,可以从ckpt中导入变量值, 不必自己 initialize. assignment_map描述了 ckpt_var -> current_var 的...

2019-11-28 19:37:29 224 0

原创 py 继承

语法 py 支持多继承. class A: # 定义父类 def __init__(self, a=None): pass def myMethod(self): print('调用父类方法') class B: # 定义父...

2019-11-11 15:37:24 71 0

原创 tensorflow 分布式训练

ps 负责存储参数. worker worker_0 是固定的 chief 角色. worker_1 是固定的 eval 角色, 不参与训练. 每隔指定的时间检查有无最新的ckpt文件, 对其加载后从 eval_input_fn 读指定step的数据. 需要注意每次eval时读到的数据都是完全相同...

2019-09-13 21:09:24 71 0

原创 bert 及 GPT

简述 bert, Bidirectional Encoder Representations from Transformers. pre-train: 在超大语料上做无监督学习,可以得到token的通用表达. . fine-tune: 在预训练模型最后加一层task-specific的layer...

2019-08-25 21:22:06 96 0

原创 py random

引入 import random 常用函数 random.Random#__init__(self,x) 构造函数, x为随机数种子. random.Random#shuffle(self,x) Shuffle list x in place, and return None. random.R...

2019-08-23 22:53:29 94 0

原创 推荐系统常用评估指标

AUC 同普通二分类问题的评价. Recall 描述 预测的topN, 与 用户实际点击的交集大小, 除以 实际点击的集合大小. 公式 (1)recall@N=∑useri∣{predictTopN}∩{click}∣∑useri∣{click}∣recall@N = \frac ...

2019-05-05 16:58:54 1528 0

原创 transformer 翻译模型

transformer google 出品, 基于 encoder-decoder 架构的 seq2seq 自然语言翻译模型. paper 见参考[1]. 创新之处是弃用 RNN,CNN 这样的结构, 采用 self-attention 与 positional-encoding 来简化结构, 加...

2019-04-21 23:33:36 1123 0

原创 gdb 使用

分析 core 核心转储文件 程序崩溃时, 会有核心转储文件生成, 方便定位有异常的栈. 下面这个例子中, #6位置有空指针, 所以异常. $gdb binary/home/admin/d2_runtime/bin/sap_server_d suez_worker/core-500-sap_ser...

2019-03-21 10:52:43 184 0

原创 Docker for windows 常用操作

安装 win 10 系统可用. 以下操作均可在console中完成. 容器管理 初次安装并启动 --name 容器中的用户账户名 --net=host 使用本机网络 -v a:b 本地磁盘与容器文件系统的映射. windows盘符的d:需要转换为/d/. -it 分配一个伪中断, 使用标准输入...

2019-03-15 15:29:13 592 0

原创 WSL, Windows 中运行 linux 子系统

WSL, Windows Subsystem for Linux. 安装 网上很多教程. 见参考[1] . Microsoft Store | 搜索 linux | ubuntu 设置 | 安全 | 启用开发人员模式 运行 | optionalfeatures.exe | 启用或关闭windo...

2019-03-14 15:02:02 525 0

原创 使用latex写算法伪代码

伪代码具有通用(编程语言无关), 简洁(数组越界,判空什么的都可省去)的特点, 是用来描述算法过程的好工具. 基于latex使用algorithm2e 这个包可以清晰地得到pdf格式的伪代码. 参考 pdf官方文档,algorithm2e ...

2019-02-11 14:08:28 8287 3

原创 Latex in KeTex 模板

参考 supported functions-katex 例子 通用 E=mc2E=mc^2E=mc2 分段函数 x={aif bcif dx = \begin{cases} a &\text{if } b \\ c &am...

2019-01-22 14:59:48 213 0

原创 机器学习相关会议

NeurIPS Neural Information Processing Systems. https://nips.cc/ ICML International Conference on Machine Learning. https://icml.cc/ IJCAI Internation...

2019-01-16 14:48:07 294 0

原创 线性模型中的特征工程

LR 模型靠特征的共现, 来记住它们对ctr的贡献. 除去常规的特征交叉, 还要有一些ctr类的统计数据, 罗列见下. item 侧 不同维度下, 多个内容的整体消费差异 一个类目下,所有内容的ctr 一个商铺下,所有内容的ctr 不同维度下, 一个内容的消费差异 一个内容, 在不同性别/年龄人群...

2018-12-26 15:22:44 403 0

原创 推荐系统数据集

RecSys 2015 见参考[1]. RecSys Challenge 2015. 一家电商网站的点击和购买日志. train set Session ID, Timestamp ,Item ID ,Category ,Price , Quantity (how many of this it...

2018-12-11 11:14:25 2547 2

原创 点击率 ctr 与停留时长 dwell time

参考 JUMP: A Joint Predictor for User Click and Dwell Time

2018-12-05 14:27:21 813 0

原创 点击率 ctr 与转化率 cvr

概念定义 在广告和推荐场景中, 用户首先会看到平台给他生成的推荐结果, 称为曝光(impression), 用户会有一定的概率作点击(click), 进入详情页. 若果满意的话会购买产品, 称为转化(conversion). CTR Click Through Rate. 点击率. pCTR=p...

2018-12-03 14:39:24 7080 0

原创 推荐系统的多样性

背景 如果是用 point-wise 的方法, 根据ctr做倒排, 会出现 high similar items were clustered together 的现象. 相似的item扎堆, 这种体验并不友好. submodular diversification 参考 [Adaptive, ...

2018-10-12 10:35:59 4186 0

原创 parameter server 简介

ps 是一种分布式机器学习的编程框架. 该思想在[1]中被提出, git上的一个实现见[3]. 参考 parameter_server_osdi14.pdf Parameter Server 详解 github,ps-lite

2018-07-23 13:55:42 629 0

原创 推荐系统中的矩阵分解(MF,FM,FFM)

在推荐场景中, 我们可以把user对item的行为, 用评分矩阵R∈R|U|×|P|R∈R|U|×|P|R\in \mathbb R^{|U|\times|P|}表示. UUU为用户集合, PPP为item集合, 以商品为例. 比如说用户u1对商品p1加购物车, 那就令 Ru1,p1=3Ru...

2018-07-04 14:33:17 1526 0

原创 推荐系统的冷启动

冷启动即新加入的user或item, 在 user-item 二部图中, 新节点的度是0, 所以针对它们如何推荐, 就称为冷启动问题. 包括 user,item 两部分的冷启动. 参考 RecSys2016,paper, Addressing Cold Start for Next-...

2018-07-02 20:15:05 621 0

原创 知识图谱表示学习

知识图谱是一种精细化的异构网络, 所以对其节点与边的表示学习也是一个热门的问题. 这里的学习依旧是得到它们的低维稠密向量. 参考 论文transr

2018-06-26 10:49:03 2824 0

原创 网络表示学习 常用数据集

Zachary’s karate club 一个大学空手道俱乐部的社交关系图, 很多论文中都喜欢用它做例子. 这个图比较简单, 有34个节点, 78条边. youtube 2 数据集介绍见[2]. node有两种, personpersonperson 与 groupgroupgrou...

2018-06-21 14:53:56 2595 2

原创 网络表示学习

简述 Network Representation Learning, 网络表示学习. 类似于word2vec, 目标是用低维、稠密、实值的向量表示网络中的节点, 方便下游计算. 基本思想 仍旧类比于word2vec. 使用DFS/BFS的搜索思想对图进行遍历, 得到一系列 seq...

2018-06-20 17:02:31 1022 0

原创 知识图谱与推荐

异构网络一些概念 定义 Heterogeneous Information Network, HIN, 异构信息网络. 信息网络用G={V,E}G={V,E}G=\{V,E\}表示, 若节点VVV与关系EEE都有类型的区别, 则称这个网络式异构的. 与之相对的叫同构网络. fig...

2018-06-19 17:20:36 5229 0

提示
确定要删除当前文章?
取消 删除