word2vec的item2item使用

dolphin改造

原dolphin逻辑

数据源:

Es：rec_job_base（职位基础信息）

Es: rec_user_hehavior(用户画像)

Mysql: bhv_rec_postag(postag到group的映射表)

步骤:

1、行为流生成

1. 读取三十天内的投递和查看，根据时间顺序切分session，生成session时，要去掉行为混乱的用户(rec_user_hehavior)的行为。
2. 根据用户行为序列生成每天的投递序列（用户_地域 投递，投递...投递）, （用户_地域 查看，查看...投递）

2、随机游走

数据源:上一步生成的纯投递的行为流(30天)

分group生成19份随机游走的数据

随机游走:深度20，数量:1000w

限制:限制地域不同的不能游走.

3、Word2vec训练

使用的spark的 Word2vec模型进行的训练.且每个group类型都训练出一个模型，然后各自预测。

4、存储到redis ,es

Redis：n2_

Es : rec_job2job

5、流程图

新dolphin想法

1.   流程图

2.  数据源

hbase: ubas:data_job_feature(职位基础字段)(因为jobvalid表只有有效职位，这里需要往前三十天内有效的，所以只能读hbase或者邓杨下游es)

Hive: hive2.dwd_log_jobopt_applyresult_i_d(投递日志)

hive: hive2.dwd_log_jobopt_DetailPageExposure_i_d (查看日志)

3.  步骤

1. 根据sql计算出用户混乱度，然后用来替换原来的es里面的混乱用户