- 博客(30)
- 收藏
- 关注
RSS订阅原创 GraphEmbedding系列总结
文章目录GraphEmbedding系列总结Word2VecItem2VecDeepWalkLINENode2VecSDNEStruc2VecEGES参考文献GraphEmbedding系列总结Embedding从入门到专家必读的十篇论文深度学习中不得不学的Graph Embedding方法Graph Embedding：深度学习推荐系统的"基本操作"Node embedding系列W...
2020-08-20 14:04:32
517
原创 Youtube深度学习推荐系统(Youtube Deep Learning Recommend System)
文章目录Youtube深度学习推荐系统(Youtube Deep Learning Recommend System)网络结构学习candidate generation模型的架构(召回)：ranking model模型的架构(排序)：主要问题讨论在线servingYoutube深度学习推荐系统(Youtube Deep Learning Recommend System)网络结构学习You...
2020-08-20 14:03:54
458
原创 DeepRS(002)--FFM模型理论与实践
文章目录DeepRS(002)--FFM模型理论与实践背景FFM模型FFM求解代码实现参考文献DeepRS(002)–FFM模型理论与实践背景FFM（Field-aware Factorization Machine）最初的概念来自Yu-Chin Juan（阮毓钦，毕业于中国台湾大学，现在美国Criteo工作）与其比赛队员，是他们借鉴了来自Michael Jahrer的论文中的field概念提出了FM的升级版模型。通过引入field的概念，FFM把相同性质的特征归于同一个field。FFM模型以广
2020-08-20 14:03:14
288
原创 经典召回算法
文章目录经典召回算法协同过滤usercf(u2i)itemcf(i2i)矩阵分解svdals二部图SWINGpageRankContent BaseItem AttributeOther Attribute CombineFM统一召回经典召回算法经典的召回算法主要包括 协同过滤算法族(usercf和itemcf)、矩阵分解家族(svd、als等)、user-item二部图以及基于内容(CB)...
2020-08-20 14:03:01
1528
1
原创 DeepRS(001)--FM模型理论与实践
文章目录DeepRS(001)--FM模型理论与实践FM背景one-hot困境FM模型代码参考文献DeepRS(001)–FM模型理论与实践FM背景在传统的逻辑回归等相关变种模型中均认为特征是相互独立的，但是实际在很多情况下特征之间的依赖关系却是不可忽视的，因此需要进行特征交叉。在大多数业务场景下，类别特征做完 OneHot后会变得相当稀疏，尤其是在进行特征交叉后，特征空间变得很大。而 FM 可用于解决特征交叉下数据稀疏所带来的一系列问题。one-hot困境FM的主要目标是，解决在数据稀疏的情况下
2020-08-20 14:01:27
218
原创 RS特征处理
文章目录RS特征处理概述常用特征特征处理方法特征处理模式数据层面模型层面参考文献RS特征处理概述常用特征特征处理方法特征处理模式数据层面模型层面公众号 《深度学习与推荐系统》不为人知的稠密特征加入CTR预估模型的方法多值类别特征加入CTR预估模型的方法对于特征离散化，特征交叉，连续特征离散化非常经典的解释机器学习中如何利用id类特征？特征工程七种常用方法七种常用特征工程...
2020-08-20 13:57:38
310
原创 RS冷启动
文章目录RS冷启动user冷启动热门user profile基础信息站外信息算法策略基于群体代表推荐E&E问题(bandit相关算法)lookalike算法item冷启动item profile深度学习方法运营策略推荐池运转推荐池进入机制推荐池退出机制总结参考文献RS冷启动推荐系统需要根据用户的历史行为和兴趣预测用户未来的行为和兴趣，对于很多做纯粹推荐系统的网站或者很多在开始阶段就希望...
2020-08-20 13:57:18
476
原创 推荐系统的评估
文章目录推荐系统的评估离线评估方法和指标主要方法Holdout检验交叉验证自助法BootstrapReplay：逐一样本回放的精确线上仿真过程评估指标准确率精确率和召回率均方误差RMSE对数损失函数P-R曲线ROC曲线与AUC平均精度均值MAP归一化折扣累计收益NDCG在线测试与评估A／B测试与线上评估指标快速线上评估方法 Interleaving参考文献推荐系统的评估离线评估方法和指标主要...
2020-08-20 13:56:50
275
转载 离散采样Sampling
文章目录离散采样Sampling问题定义O(N)的方法O(logN)的方法O(1)的方法Python代码参考离散采样Sampling问题定义给定一个离散型随机变量的概率分布规律P(X=i)=pi,i∈1,...NP(X=i)=p_i,i\in{1,...N}P(X=i)=pi,i∈1,...N，希望设计一个方法能够从该概率分布中进行采样使得采样结果尽可能服从概率分布PO(N)的方法想象随机事件依其概率的大小分布在一个长度为1的线段上。那么我在线段中随机取一点，看看该点落在哪个事件对应的区间中，就
2020-08-20 13:56:35
1868
原创 [2020]利用属性图神经网络解决推荐系统冷启动问题
文章目录[2020]利用属性图神经网络解决推荐系统冷启动问题概要创新点模型关键点思考参考文献[2020]利用属性图神经网络解决推荐系统冷启动问题概要本文提出一种新的框架(属性图神经网络AGNN)来解决推荐系统冷启动问题。主要是利用属性图网络而不仅仅是user-item交互行为，这样对冷启动users/item会有比较好的表征能力。注：本文中 特征向量(the preference embedding)是表征user/item的兴趣/特性，是根据user/item历史行为数据的得到。针对warm-us
2020-08-20 13:56:16
915
原创 2019-[HERS]在稀疏和冷启动推荐系统中利用上下文进行异构关系建模
文章目录2019-[HERS]在稀疏和冷启动推荐系统中利用上下文进行异构关系建模概要主要关注点模型模型主要架构关键点Influential-context Aggregation UnitUser’s Influential Context EmbeddingItem’s Influential Context EmbeddingUser-item Interaction Ranking实验说明思考参考文献2019-[HERS]在稀疏和冷启动推荐系统中利用上下文进行异构关系建模概要经典的推荐系统主要面
2020-08-20 13:56:02
333
转载 树模型系列之集成树(Random Forest、Adaboost、GBDT)
GBDT原理与Sklearn源码分析-分类篇GBDT原理与实践-多分类篇GBDT原理与Sklearn源码分析-回归篇机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdfXGBoost原理和底层实现剖析《统计学习方法》第8章 提升方法之AdaBoost\Boost...
2020-08-20 13:55:05
1745
转载 经典CTR模型演化
文章目录经典CTR模型演化概要LR——CTR模型的核心和基础POLY2——特征交叉的开始FM——隐向量特征交叉FFM——引入特征域概念CTR模型特征交叉方向的演化POLY2FMFFMGBDT+LR——特征工程模型化的开端FTRL——天下武功，唯快不破LS-PLM——阿里曾经的主流CTR模型总结参考文献经典CTR模型演化概要LR、FM等传统CTR模型凭借其可解释性强、轻量级的训练部署要求、...
2020-08-20 13:54:49
314
原创 树模型系列之集成学习(Bagging、Boosting、Stacking)
文章目录树模型系列之集成学习(Bagging、Boosting、Stacking)baggingBoostingStacking偏差与方差集成学习的偏差与方差Bagging 的偏差与方差Boosting 的偏差与方差小结参考文献树模型系列之集成学习(Bagging、Boosting、Stacking)常见的集成学习框架有三种：Bagging，Boosting 和 StackingBaggi...
2020-08-20 13:52:21
316
转载 树模型系列(ID3、C4.5、CART)
文章目录树模型系列(ID3、C4.5、CART)ID3基本思想树模型系列(ID3、C4.5、CART)本文主要总结三种决策树 ID3、C4.5、CART的基本思想及区别ID3ID3 算法是建立在奥卡姆剃刀（用较少的东西，同样可以做好事情）的基础上：越是小型的决策树越优于大的决策树基本思想...
2020-08-20 13:52:06
548
转载 树模型系列之LightGBM
30分钟学会LightGBM机器学习算法之LightGBMLightGBM 中文文档http://datacruiser.io/2019/08/12/DataWhale-Workout-No-8-LightGBM-Summary/http://datacruiser.io/2019/08/10/DataWhale-Workout-No-8-XGboost-Summary/机器学习算法之C...
2020-08-20 13:50:59
1928
原创 Python Connect Hbase Through Thrift
PythonConnectHbaseThroughThriftPython通过Thrift连接Hbase操作安装 Thriftpip install thriftpip install hbase-thrift坑坑坑安装完成之后第一次运行，报错误：in <module> from hbase import Hbase File "C:\Users\tianxi...
2020-08-20 13:50:03
142
原创 配置远程登录JupyterNotebook
在安装完成Jupyter后，远程登录JupyterNotebook，便于调试和和维护以及可视化过程一共分为三步：生成配置文件设置密码修改配置文件1. 生成配置文件使用下面的jupyter命令生成配置文件jupyter_notebook_config.py$ jupyter notebook --generate-config在默认路径下如：Windows: C:\Users...
2019-08-27 12:34:37
217
原创 快速计算距离Annoy算法原理及Python使用
快速计算距离Annoy算法基本原理高维稀疏数据进行快速相似查找，可以采用learning to hash参考：Minhashing & LSH & Simhash 技术汇总,但高维稠密数据查找则采用annoy如何从海量文本中快速查找出相似的Top N 文本Annoy（Approximate Nearest Neighbors Oh Yeah）快速算法,在实际应用中发现无论计...
2019-06-17 21:14:44
14183
6
原创 Split Huge File Into Little To Train
SplitHugeFileIntoLittleToTrain将大文件分割成小文件进行处理训练shell文件 SplitHugeToLittle.sh#删除生成的已经生成的多个小数据集,便于shell定时任务循环执行rm ./data/low_frequency/*#将大数据集文件low_frequency_event.dat按每个文件10000行进行分割成小数据集文件，小数据集文件前缀为...
2019-06-17 21:06:52
189
原创 HbaseShell
HbaseShellhbase按照时间戳降序排列各时间版本，其他映射建按照升序排序。时间版本（version）--------单元值有时间版本，时间版本用时间戳标识，是一个long。没有指定时间版本时，当前时间戳作为操作的基本。hbase保留单元值时间版本的数量基于列族进行配置。默认数量是3个。##基本使用命令启动Hbase: hbase shell退出: exitshutdown表示...
2019-06-17 20:57:17
400
原创 hadoop_HDFS常用文件操作命令
hadoop_HDFS常用文件操作命令参考命令基本格式:hadoop fs -cmd \< args \> ls列出hdfs文件系统根目录下的文件和目录hadoop fs -ls /列出hdfs文件系统所有的目录和文件hadoop fs -ls -R / put命令基本格式：hdfs file 的父目录一定要存在，否则命令不会执行hadoop fs -pu...
2019-06-05 23:58:44
1095
转载 Redis基础
Redisredis中文官网搜索redis命令中文参考redis命令Redis基础关系型数据库与非关系型数据库区别应用场景不同数据库比较缓存读取过程：缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题解释参考一致哈希算法参考Redis数据类型string字符串类型数据结构：常用命令自增自减其他操作获取字符串长度往字符串append内容设...
2019-06-05 19:18:06
200
原创 Shell
文章目录Shell基础知识脚本执行变量变量使用变量作用域参数位置参数特殊变量及含义**$?** 获取上一个命令的退出状态或获取函数返回值字符串获取字符串长度字符串拼接字符串截取数组内建命令**alias****echo**命令：**read****exit****declare**数学计算**数学计算命令****shell(())****Shell let****Shell $[]**Shell ...
2019-06-05 19:05:53
403
原创 awk命令
awk命令逐行处理文本数据基本命令awk [选项参数] 'script' var=value file(s)或awk [选项参数] -f scriptfile var=value file(s)选项参数说明：-F fs or --field-separator fs指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。-v var=value or --...
2019-06-05 18:58:22
1260
原创 Git 基本学习
Git 基本学习参考教程github 参考配置Git首先在本地创建ssh key$ ssh-keygen -t rsa -C "your_email@youremail.com"创建版本库安装 git linuxsudo apt-get install git建立空目录$ mkdir learngit # 建立空目录$ cd learngit # 定位到空...
2019-06-05 18:51:34
405
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人