前言
最近在做CTR预估的项目,遇到了一个小问题,即用户短时间频繁的点击的item是干扰项,在分析数据后觉得应该去重。查阅资料后解决了问题
用到的方法
Python Pandas dataframe.diff():
Pandas dataframe.diff()用于查找给定轴上对象的第一个离散差异。我们可以提供一个周期值来移动以形成差。
用法: DataFrame.diff(periods=1, axis=0)
Pythopn Pandas duplicated()函数:
去重函数
具体做法
#按照用户ID,itemID,点击时间的顺序排序
action_data__ = action_data_.sort_values(['user_log_acct','item_sku_id','request_tm'])
#计算两个点击事件之间的时间差
action_data_['time_diff'] = action_data_['request_tm'].diff()
#上述计算时间差为data time类型,转换为秒为单位
action_data_['time_diff'] = action_data_['time_diff'].astype('timedelta64[s]')
#去重函数判断是否为重复item
action_data_['sim'] = action_data_.loc[:,['user_log_acct','item_sku_id']].duplicated()
#筛选符合条件的记录,小于点击间隔阈值并且重复的item去掉
action_data_ = action_data_[~(action_data_['sim'] & action_data_['time_diff']< cut_off )]