u012875855的博客

原创 阿里DIN推荐模型简介

背景此模型主要用于排序阶段；在电商系统中，用户的兴趣通常可以由其历史点击的商品来刻画，由于用户的历史点击可能是多样的，用户的兴趣也是多样性的，如果仅仅将用户历史点击的商品embedding进行pooling作为用户的特征，则可能不能反映用户真实的兴趣，因此一个很直接的想法，为每个历史点击赋予一个权重，计算加权的pooling，作为用户的特征模型结构base model：sum pooling或者mean pooling + MLP DIN:用户历史行为的每个商品embedding

原创 推荐系统-PNN模型Product-based Neural Networks for User Response Prediction

模型结构模型主要分为输入层、embedding 层、product 层、两个全连接层输入层：每个特征域的one hot表示embedding 层：将特征one hot转为embedding表示fnproduct 层：本文主要内容，主要进行特征交叉后面主要讲解一下product层主要计算过程如上，常规操作，不在赘述product 层product层分为两个部分，其中第一部分，每个特征域与1进行内积，zn = fn, pi,j 则是fi, fj的内积或者外积...

原创 ARC-II模型的细节

2014年nips论文Convolutional Neural Network Architectures for Matching Natural Language Sentences，针对文本匹配模型，提出了两种网络，其中第一种网络结构ARC-I，是使用CNN分别对文本提取特征，然后计算特征的相似度，然而这种模型中， 在提取特征时，两个文本之间并没有交互，显然这样的匹配模型，不符合我...

原创 pandas 处理空值

在使用pandas进行特征工程时，经常会出现空值问题，下面介绍一下pandas中的空值判断新建一个文件：sample.csv,文件内容如下:a,b,c,d1,,1,'1'2,,2,'2'3,,,'3'4,,4,下面通过pandas的read_csv函数 将文件内容加载到dataframe中，dataFrame的结构如下：In [3]: data.info()<c...

转载 xgboost 与 lightGBM对比

转载自http://izhaoyi.top/2017/09/23/sklearn-xgboost/sklearn集成方法集成方法的目的是结合一些基于某些算法训练得到的基学习器来改进其泛化能力和鲁棒性(相对单个的基学习器而言)主流的两种做法分别是：bagging基本思想独立的训练一些基学习器(一般倾向于强大而复杂的模型比如完全生长的决策树)，然后综合他们的预测结果，通常集成模型...

转载 xgboost 调参

转载自https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/IntroductionIf things don’t go your way in predictive modeling, use XGboost.  XGBoost algo...

原创 tensorflow tensor运算

multiply 等同与* ，用于计算矩阵之间的element-wise 乘法，要求矩阵的形状必须一致(或者是其中一个维度为1)，否则会报错：import tensorflow as tfa = tf.constant([1, 2, 3, 4, 5, 6, 7, 8, 9, 10,11,12], shape=[2, 3, 2])b = tf.constant([1, 2, 3, 4, 5...

翻译 tensorflow reshape

原创 S4VM解析

1、S3VM传统半监督支持向量机通过探索未标记数据来规范。调整决策边界，寻找最有的大间隔、低密度的超平面,比如S3VMs、TSVM等半监督SVM算法，如图所示，S3VM试图找到一个超平面，将有标记样本能够正确划分，且穿过特征空间中密度最低的区域；右图即是S3VM寻找的理想超平面。           S3VM的目标函数如下， 其中损失函数是hinge loss，限制条件是保证未标注样本...

转载 使用sklearn绘制roc曲线

from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt false_positive_rate,true_positive_rate,thresholds=roc_curve(predict["label"], predict["predict_prob"])roc_auc=auc(false_po...