推荐系统
机器学习+深度学习的推荐系统框架
AI-learner6868
Ai从业者,乐于分享,多多指教
展开
-
tensorflow2实现deepfm
tensorflow2实现deepfm1.deepfm的概述2.FM侧的二阶组合tensorflow实现deepfm的实现1.deepfm的概述deepfm是wide&deep的衍生模型,将wide&deep模型中的wide侧替换成FM模型,从而实现二阶的特征组合,增强模型的“记忆性”,deep侧依旧使用传统的DNN模型,增强模型的泛化能力。2.FM侧的二阶组合tensorflow实现class FM(Layer): """Factorization Machine mode原创 2020-12-23 16:12:40 · 544 阅读 · 0 评论 -
特征工程:推荐系统有哪些可供利用的特征?
特征工程:推荐系统有哪些可供利用的特征?一、什么是特征工程二、构建推荐系统特征工程的原则三、推荐系统中的常用特征1. 用户行为数据用户如果说整个推荐系统是一个饭馆,那么特征工程就是负责配料和食材的厨师,推荐模型这个大厨做的菜好不好吃,大厨的厨艺肯定很重要,但配料和食材作为美食的基础也同样重要。而且只有充分了解配料和食材的特点,我们才能把它们的作用发挥到极致。现在,我们就先来讲讲特征工程,说说到底什么是特征工程,构建特征工程的基本原则是什么,以及推荐系统中常用的特征有哪些。一、什么是特征工程在推荐系统原创 2020-11-25 22:31:10 · 871 阅读 · 0 评论 -
tensorflow2实现wide&deep
tensorflow2基于criteo数据集实现wide&deepcriteo数据集导包读取数据集数据粗粒度处理,使其可以运用tf21.查看下null比例2.数据处理wide&deep1. 预备工作(1)SparseFeat(2) Densefeat(3) 创建dict来存储Input(4) 获取sparse列的信息(5) 获取dense列的信息2. wide侧3.deep侧4. wide + deep5. 模型构建的完整代码数据+模型运行criteo数据集导包import panda原创 2020-09-20 12:23:50 · 1215 阅读 · 4 评论 -
pyspark partitionby与mapPartitions并行
pyspark partitionby与mapPartitions并行在大数据中,算法工程师经常使用spark来进行模型训练,但是基于不同的业务场景和模型的训练时间要求,算法工程师可能需要并行运行某个任务(训练模型)举个例子:在电商场景中,不同的品类具有不同的时序性,具有不同的表现,工程师可能想将每个品类都运行一个算法,最终汇总看看效果,但是for循环满足不了时间的要求,这时候就可以运用mapPartitions来处理啦1. 先定义个rdd数据吧from pyspark import SparkCo原创 2020-08-20 22:55:13 · 4253 阅读 · 1 评论 -
spark实现的item_cf
(一) item_cf原理(二) codeimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions._import org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.spark.sql.types.DataTypesimport原创 2020-08-06 21:30:11 · 841 阅读 · 0 评论