推荐系统实践之新闻推荐baseline理解

最新推荐文章于 2024-06-28 00:41:25 发布
最新推荐文章于 2024-06-28 00:41:25 发布
阅读量653 收藏 1
点赞数 1
分类专栏： 推荐系统 文章标签： python 推荐系统 矩阵 线性代数 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45014634/article/details/110131439
版权

推荐系统实践之新闻推荐baseline理解

文章目录

一、理解赛题

1.1 、赛题背景

赛题：零基础入门推荐系统 - 新闻推荐
赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章，测试集对最后一次点击行为进行了剔除。

1.2、赛题目标

预测用户点击新闻文章Top5的article_id依概率从高到低排序

1.3、数据概况

数据说明：数据已经给出了几张表，已经将数据划分了训练集和测试集了。
其中数据段的说明我们需要明确知道哪些字段代表这什么意思。这样才有助于我们对后面的数据理解。
在这里插入图片描述
在这里插入图片描述

1.4 、评估指标

MRR(Mean Reciprocal Rank)：首先对选手提交的表格中的每个用户计算用户得分
在这里插入图片描述其中, 如果选手对该user的预测结果predict k命中该user的最后一条购买数据则s(user,k)=1; 否则s(user,k)=0　。而选手得分为所有这些score(user)的平均值。

二、数据初探

  • 导入相关的包
%matplotlib inline
import pandas as pd
import numpy as np

import matplotlib.pyplot as plt
import seaborn as sns
plt.rc('font', family='SimHei', size=13)

import os,gc,re,warnings,sys
warnings.filterwarnings("ignore")
  • 读取数据
    将下载的数据放在data_raw下
# path = './data/' # 自定义的路径
path='./data_raw/'
trn_click = pd.read_csv(path+'train_click_log.csv')
#trn_click = pd.read_csv(path+'train_click_log.csv', names=['user_id','item_id','click_time','click_environment','click_deviceGroup','click_os','click_country','click_region','click_referrer_type'])
item_df = pd.read_csv(path+'articles.csv')
item_df = item_df.rename(columns={'article_id': 'click_article_id'})  #重命名，方便后续match
item_emb_df = pd.read_csv(path+'articles_emb.csv')

#####test
tst_click = pd.read_csv(path+'testA_click_log.csv')
  • 数据探索
    查看相关字段
trn_click.head()
user_idclick_article_idclick_timestampclick_environmentclick_deviceGroupclick_osclick_countryclick_regionclick_referrer_type
0199999160417150702957019041171131
11999995408150702957147841171131
219999950823150702960147841171131
3199998157770150702953220041171255
419999896613150702967183141171255
item_df.head()
click_article_idcategory_idcreated_at_tswords_count
0001513144419000168
1111405341936000189
2211408667706000250
3311408468313000230
4411407071171000162
item_emb_df.head()
article_idemb_0emb_1emb_2emb_3emb_4emb_5emb_6emb_7emb_8...emb_240emb_241emb_242emb_243emb_244emb_245emb_246emb_247emb_248emb_249
00-0.161183-0.957233-0.1379440.0508550.8300550.901365-0.335148-0.559561-0.500603...0.3212480.3139990.6364120.1691790.540524-0.8131820.286870-0.2316860.5974160.409623
11-0.523216-0.9740580.7386080.1552340.6262940.485297-0.715657-0.897996-0.359747...-0.4878430.8231240.412688-0.3386540.3207860.588643-0.5941370.1828280.397090-0.834364
22-0.619619-0.972960-0.207360-0.1288610.044748-0.387535-0.730477-0.066126-0.754899...0.4547560.4731840.377866-0.863887-0.3833650.137721-0.810877-0.4475800.805932-0.285284
33-0.740843-0.9757490.3916980.641738-0.2686450.191745-0.825593-0.710591-0.040099...0.2715350.0360400.480029-0.7631730.0226270.565165-0.910286-0.5378380.243541-0.885329
44-0.279052-0.9723150.6853740.1130560.2383150.271913-0.5688160.341194-0.600554...0.2382860.8092680.427521-0.615932-0.5036970.614450-0.917760-0.4240610.185484-0.580292

5 rows × 251 columns
  • 数据预处理
    计算用户点击rank和点击次数

对每个用户的点击时间戳进行排序,降序排列

trn_click['rank'] = trn_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)
tst_click['rank'] = tst_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)

计算用户点击文章的次数，并添加新的一列count

trn_click['click_cnts'] = trn_click.groupby(['user_id'])['click_timestamp'].transform('count')
tst_click['click_cnts'] = tst_click.groupby(['user_id'])['click_timestamp'].transform('count')

trn_click.groupby(['user_id'])['click_timestamp'].transform('count')

0          11
1          11
2          11
3          40
4          40
           ..
1112618     4
1112619     2
1112620     2
1112621    14
1112622    14
Name: click_timestamp, Length: 1112623, dtype: int64

trn_click.groupby(['user_id'])['click_timestamp'].agg('count')

user_id
0          2
1          2
2          2
3          2
4          2
          ..
199995     7
199996    13
199997     2
199998    40
199999    11
Name: click_timestamp, Length: 200000, dtype: int64

trn_click = trn_click.merge(item_df, how='left', on=['click_article_id'])
trn_click.head()
user_idclick_article_idclick_timestampclick_environmentclick_deviceGroupclick_osclick_countryclick_regionclick_referrer_typerankclick_cntscategory_id_xcreated_at_ts_xwords_count_xcategory_id_ycreated_at_ts_ywords_count_y
0199999160417150702957019041171131111128115069420890001732811506942089000173
1199999540815070295714784117113110114150699425700011841506994257000118
219999950823150702960147841171131911991507013614000213991507013614000213
3199998157770150702953220041171255404028115069839350002012811506983935000201
419999896613150702967183141171255394020915069384440001852091506938444000185

train_click_log.csv文件数据中每个字段的含义

  • user_id: 用户的唯一标识
  • click_article_id: 用户点击的文章唯一标识
  • click_timestamp: 用户点击文章时的时间戳
  • click_environment: 用户点击文章的环境
  • click_deviceGroup: 用户点击文章的设备组
  • click_os: 用户点击文章时的操作系统
  • click_country: 用户点击文章时的所在的国家
  • click_region: 用户点击文章时所在的区域
  • click_referrer_type: 用户点击文章时，文章的来源
trn_click.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 1112623 entries, 0 to 1112622
Data columns (total 17 columns):
user_id                1112623 non-null int64
click_article_id       1112623 non-null int64
click_timestamp        1112623 non-null int64
click_environment      1112623 non-null int64
click_deviceGroup      1112623 non-null int64
click_os               1112623 non-null int64
click_country          1112623 non-null int64
click_region           1112623 non-null int64
click_referrer_type    1112623 non-null int64
rank                   1112623 non-null int32
click_cnts             1112623 non-null int64
category_id_x          1112623 non-null int64
created_at_ts_x        1112623 non-null int64
words_count_x          1112623 non-null int64
category_id_y          1112623 non-null int64
created_at_ts_y        1112623 non-null int64
words_count_y          1112623 non-null int64
dtypes: int32(1), int64(16)
memory usage: 148.6 MB

查看训练点击表基本描述

trn_click.describe([0.01,0.25,0.5,0.75,0.99])
user_idclick_article_idclick_timestampclick_environmentclick_deviceGroupclick_osclick_countryclick_regionclick_referrer_typerankclick_cntscategory_id_xcreated_at_ts_xwords_count_xcategory_id_ycreated_at_ts_ywords_count_y
count1.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+061.112623e+06
mean1.221198e+051.951541e+051.507588e+123.947786e+001.815981e+001.301976e+011.310776e+001.813587e+011.910063e+007.118518e+001.323704e+013.056176e+021.506598e+122.011981e+023.056176e+021.506598e+122.011981e+02
std5.540349e+049.292286e+043.363466e+083.276715e-011.035170e+006.967844e+001.618264e+007.105832e+001.220012e+001.016095e+011.631503e+011.155791e+028.343066e+095.223881e+011.155791e+028.343066e+095.223881e+01
min0.000000e+003.000000e+001.507030e+121.000000e+001.000000e+002.000000e+001.000000e+001.000000e+001.000000e+001.000000e+002.000000e+001.000000e+001.166573e+120.000000e+001.000000e+001.166573e+120.000000e+00
1%4.502000e+031.520900e+041.507039e+122.000000e+001.000000e+002.000000e+001.000000e+003.000000e+001.000000e+001.000000e+002.000000e+007.000000e+001.476077e+129.700000e+017.000000e+001.476077e+129.700000e+01
25%7.934700e+041.239090e+051.507297e+124.000000e+001.000000e+002.000000e+001.000000e+001.300000e+011.000000e+002.000000e+004.000000e+002.500000e+021.507220e+121.700000e+022.500000e+021.507220e+121.700000e+02
50%1.309670e+052.038900e+051.507596e+124.000000e+001.000000e+001.700000e+011.000000e+002.100000e+012.000000e+004.000000e+008.000000e+003.280000e+021.507553e+121.970000e+023.280000e+021.507553e+121.970000e+02
75%1.704010e+052.777120e+051.507841e+124.000000e+003.000000e+001.700000e+011.000000e+002.500000e+012.000000e+008.000000e+001.600000e+014.100000e+021.507756e+122.280000e+024.100000e+021.507756e+122.280000e+02
99%1.990788e+053.540860e+051.508197e+124.000000e+004.000000e+002.000000e+011.000000e+012.800000e+017.000000e+004.900000e+018.000000e+014.420000e+021.508171e+123.180000e+024.420000e+021.508171e+123.180000e+02
max1.999990e+053.640460e+051.510603e+124.000000e+005.000000e+002.000000e+011.100000e+012.800000e+017.000000e+002.410000e+022.410000e+024.600000e+021.510666e+126.690000e+034.600000e+021.510666e+126.690000e+03
#训练集中的用户数量为20w
trn_click["user_id"].nunique()

200000

trn_click.groupby('user_id')['click_article_id'].count().min()
# 训练集里面每个用户至少点击了两篇文章

2

trn_click.groupby('user_id')['click_article_id'].count()

user_id
0          2
1          2
2          2
3          2
4          2
          ..
199995     7
199996    13
199997     2
199998    40
199999    11
Name: click_article_id, Length: 200000, dtype: int64

三 、Baseline代码实现及理解

import time, math, os
from tqdm import tqdm
import gc
import pickle
import random
from datetime import datetime
from operator import itemgetter
import numpy as np
import pandas as pd
import warnings
import collections
from collections import defaultdict
warnings.filterwarnings('ignore')

data_path = './data_raw/'
save_path = './tmp_results/'

这是一个节约内存的函数，将有些数的字节没有必要这么大，将其字节给变小，可以在一定程度上减少内存消耗。

# 节约内存的一个标配函数
def reduce_mem(df):
    starttime = time.time()
    numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
    start_mem = df.memory_usage().sum() / 1024**2
    for col in df.columns:
        col_type = df[col].dtypes
        if col_type in numerics:
            c_min = df[col].min()
            c_max = df[col].max()
            if pd.isnull(c_min) or pd.isnull(c_max):
                continue
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)
            else:
                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)
    end_mem = df.memory_usage().sum() / 1024**2
    print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,
                                                                                                           100*(start_mem-end_mem)/start_mem,
                                                                                                           (time.time()-starttime)/60))
    return df

# debug模式：从训练集中划出一部分数据来调试代码
def get_all_click_sample(data_path, sample_nums=5000):
    """
        训练集中采样一部分数据调试
        data_path: 原数据的存储路径
        sample_nums: 采样数目（这里由于机器的内存限制，可以采样用户做）
    """
    all_click = pd.read_csv(data_path + 'train_click_log.csv')
    all_user_ids = all_click.user_id.unique()

    sample_user_ids = np.random.choice(all_user_ids, size=sample_nums, replace=False) 
    all_click = all_click[all_click['user_id'].isin(sample_user_ids)]
    
    all_click = all_click.drop_duplicates((['user_id', 'click_article_id', 'click_timestamp']))
    return all_click

读取点击数据，这里分成线上和线下，如果是为了获取线上提交结果应该讲测试集中的点击数据合并到总的数据中

# 读取点击数据，这里分成线上和线下，如果是为了获取线上提交结果应该讲测试集中的点击数据合并到总的数据中
# 如果是为了线下验证模型的有效性或者特征的有效性，可以只使用训练集
def get_all_click_df(data_path='./data_raw/', offline=True):
    if offline:
        all_click = pd.read_csv(data_path + 'train_click_log.csv')
    else:
        trn_click = pd.read_csv(data_path + 'train_click_log.csv')
        tst_click = pd.read_csv(data_path + 'testA_click_log.csv')

        all_click = trn_click.append(tst_click)
    
    all_click = all_click.drop_duplicates((['user_id', 'click_article_id', 'click_timestamp']))
    return all_click

# 全量训练集因为已经分成两部分数据集，可以是读取合并成一大部分数据集

all_click_df = get_all_click_df(offline=False)

# 根据点击时间获取用户的点击文章序列   {user1: [(item1, time1), (item2, time2)..]...}
def get_user_item_time(click_df):
    
    click_df = click_df.sort_values('click_timestamp')
    
    def make_item_time_pair(df):
        return list(zip(df['click_article_id'], df['click_timestamp']))
    
    user_item_time_df = click_df.groupby('user_id')['click_article_id', 'click_timestamp'].apply(lambda x: make_item_time_pair(x))\
                                                            .reset_index().rename(columns={0: 'item_time_list'})
    user_item_time_dict = dict(zip(user_item_time_df['user_id'], user_item_time_df['item_time_list']))
    
    return user_item_time_dict

# 获取近期点击最多的文章
def get_item_topk_click(click_df, k):
    topk_click = click_df['click_article_id'].value_counts().index[:k]
    return topk_click

def itemcf_sim(df):
    """
        文章与文章之间的相似性矩阵计算
        :param df: 数据表
        :item_created_time_dict:  文章创建时间的字典
        return : 文章与文章的相似性矩阵
        思路: 基于物品的协同过滤(详细请参考上一期推荐系统基础的组队学习)， 在多路召回部分会加上关联规则的召回策略
    """
    
    user_item_time_dict = get_user_item_time(df)
    
    # 计算物品相似度
    i2i_sim = {}
    item_cnt = defaultdict(int)
    for user, item_time_list in tqdm(user_item_time_dict.items()):
        # 在基于商品的协同过滤优化的时候可以考虑时间因素
        for i, i_click_time in item_time_list:
            item_cnt[i] += 1
            i2i_sim.setdefault(i, {})
            for j, j_click_time in item_time_list:
                if(i == j):
                    continue
                i2i_sim[i].setdefault(j, 0)
                
                i2i_sim[i][j] += 1 / math.log(len(item_time_list) + 1)
                
    i2i_sim_ = i2i_sim.copy()
    for i, related_items in i2i_sim.items():
        for j, wij in related_items.items():
            i2i_sim_[i][j] = wij / math.sqrt(item_cnt[i] * item_cnt[j])
    
    # 将得到的相似性矩阵保存到本地
    pickle.dump(i2i_sim_, open(save_path + 'itemcf_i2i_sim.pkl', 'wb'))
    
    return i2i_sim_

i2i_sim = itemcf_sim(all_click_df)

# 基于商品的召回i2i
def item_based_recommend(user_id, user_item_time_dict, i2i_sim, sim_item_topk, recall_item_num, item_topk_click):
    """
        基于文章协同过滤的召回
        :param user_id: 用户id
        :param user_item_time_dict: 字典, 根据点击时间获取用户的点击文章序列{user1: [(item1, time1), (item2, time2)..]...}
        :param i2i_sim: 字典，文章相似性矩阵
        :param sim_item_topk: 整数， 选择与当前文章最相似的前k篇文章
        :param recall_item_num: 整数， 最后的召回文章数量
        :param item_topk_click: 列表，点击次数最多的文章列表，用户召回补全        
        return: 召回的文章列表 [item1:score1, item2: score2...]
        注意: 基于物品的协同过滤(详细请参考上一期推荐系统基础的组队学习)， 在多路召回部分会加上关联规则的召回策略
    """
    
    # 获取用户历史交互的文章
    user_hist_items = user_item_time_dict[user_id] # 注意，此时获取得到的是一个元组列表，需要将里面的user_id提取出来
    user_hist_items_ = {user_id for user_id, _ in user_hist_items}

    item_rank = {}
    for loc, (i, click_time) in enumerate(user_hist_items):
        for j, wij in sorted(i2i_sim[i].items(), key=lambda x: x[1], reverse=True)[:sim_item_topk]:
            if j  in user_hist_items_:
                continue
                
            item_rank.setdefault(j, 0)
            item_rank[j] +=  wij
    
    # 不足10个，用热门商品补全
    if len(item_rank) < recall_item_num:
        for i, item in enumerate(item_topk_click):
            if item in item_rank.items(): # 填充的item应该不在原来的列表中
                continue
            item_rank[item] = - i - 100 # 随便给个负数就行
            if len(item_rank) == recall_item_num:
                break
    
    item_rank = sorted(item_rank.items(), key=lambda x: x[1], reverse=True)[:recall_item_num]
        
    return item_rank

# 定义
user_recall_items_dict = collections.defaultdict(dict)

# 获取 用户 - 文章 - 点击时间的字典
user_item_time_dict = get_user_item_time(all_click_df)

# 去取文章相似度
i2i_sim = pickle.load(open(save_path + 'itemcf_i2i_sim.pkl', 'rb'))



# 相似文章的数量
sim_item_topk = 10

# 召回文章数量
recall_item_num = 10

# 用户热度补全
item_topk_click = get_item_topk_click(all_click_df, k=50)



for user in tqdm(all_click_df['user_id'].unique()):
    user_recall_items_dict[user] = item_based_recommend(user, user_item_time_dict, i2i_sim, 
                                        、                  sim_item_topk, recall_item_num, item_topk_click)

100%|████████████████████████████████████████████████████████████████████████| 250000/250000 [2:06:25<00:00, 32.96it/s]

# 将字典的形式转换成df
user_item_score_list = []

for user, items in tqdm(user_recall_items_dict.items()):
    for item, score in items:
        user_item_score_list.append([user, item, score])

recall_df = pd.DataFrame(user_item_score_list, columns=['user_id', 'click_article_id', 'pred_score'])
 

100%|███████████████████████████████████████████████████████████████████████| 250000/250000 [00:11<00:00, 22018.74it/s]

# 生成提交文件
def submit(recall_df, topk=5, model_name=None):
    recall_df = recall_df.sort_values(by=['user_id', 'pred_score'])
    recall_df['rank'] = recall_df.groupby(['user_id'])['pred_score'].rank(ascending=False, method='first')
    
    # 判断是不是每个用户都有5篇文章及以上
    tmp = recall_df.groupby('user_id').apply(lambda x: x['rank'].max())
    assert tmp.min() >= topk
    
    del recall_df['pred_score']
    submit = recall_df[recall_df['rank'] <= topk].set_index(['user_id', 'rank']).unstack(-1).reset_index()
    
    submit.columns = [int(col) if isinstance(col, int) else col for col in submit.columns.droplevel(0)]
    # 按照提交格式定义列名
    submit = submit.rename(columns={'': 'user_id', 1: 'article_1', 2: 'article_2', 
                                                  3: 'article_3', 4: 'article_4', 5: 'article_5'})
    
    save_name = save_path + model_name + '_' + datetime.today().strftime('%m-%d') + '.csv'
    submit.to_csv(save_name, index=False, header=True)



# 获取测试集
tst_click = pd.read_csv(data_path + 'testA_click_log.csv')
tst_users = tst_click['user_id'].unique()

# 从所有的召回数据中将测试集中的用户选出来
tst_recall = recall_df[recall_df['user_id'].isin(tst_users)]

# 生成提交文件
submit(tst_recall, topk=5, model_name='itemcf_baseline')

最后产生文件提交即可。另外本文如有错误望您指正。感谢
baseline 最后Score：0.1026

LKIDTI数据
关注
专栏目录
推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐，业界广告推荐技术最新进展
丨汀、的博客
02-16 5370
推荐算法其实本质上是一种信息处理逻辑，当获取了用户与内容的信息之后，按照一定的逻辑处理信息后，产生推荐结果。热度排行榜就是最简单的一种推荐方法，它依赖的逻辑就是当一个内容被大多数用户喜欢，那大概率其他用户也会喜欢。但是基于粗放的推荐往往会不够精确，想要挖掘用户个性化的，小众化的兴趣，需要制定复杂的规则运算逻辑，并由机器完成。召回：当用户以及内容量比较大的时候，往往先通过召回策略，将百万量级的内容先缩小到百量级。
CMGAN 跨模式异构图注意网络统一多模式理解和预测人类移动系统
AI天才研究院
08-31 499
随着移动互联网、物联网和边缘计算等新兴技术的不断涌现，如何使得人类的移动生活更加便捷、高效地满足需求已经成为越来越多企业和开发者关注的重点。在这样的背景下，统一多模式理解（UAM）和预测性行为（Predictive Behavior）等概念及技术也逐渐被提出，并得到越来越多应用。而在这个过程中，如何能够把不同形式的数据集成到统一的“个人行为”数据模型中，从而形成一个“通用意识”，并对该“通用意识”做出准确的预测，成为当前人类移动预测领域的热门研究课题之一。
datawhale 推荐系统（新闻推荐）天池新闻推荐入门赛之【赛题理解+Baseline】Task01
sinat_39470268的博客
11-25 336
遇到的问题 1.服务器上直接用wget 网址的方式下载天池数据失败， baseline采用了传统的CF协同过滤技术，协同过滤的特点就是完全没有利用到物品本身或者是用户自身的属性， 仅仅利用了用户与物品的交互信息就可以实现推荐，比较简单高效， 但这也是它的一个短板所在， 由于无法有效的引入用户年龄， 性别，商品描述，商品分类，当前时间，地点等一系列用户特征、物品特征和上下文特征， 这就造成了有效信息的遗漏，不能充分利用其它特征数据。 具体代码： ```python # import packages imp
新闻推荐01
mk12306的博客
11-23 503
赛题理解 此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章。 数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表示。为了保证比赛的公平性，从中抽取20万用户的点击日志数据作为训练集，5万用户的点击日志数据作为测试集A，5万用户的点击日志数据作为测试集B。 评价方
新闻推荐之Baseline
张先生－您好的博客
01-12 520
新闻推荐 问题描述：赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章，测试集对最后一次点击行为进行了剔除。 评价指标: score(user)=∑k=15s(user,k)k score(user) = \sum_{k=1}^5 \frac{s(user, k)}{k} score(user)=k=1∑5​ks(user,k)​ 评估：假如article1就是真实的用户点击文章，也就是article1命中， 则s(user
【组队学习】【32期】推荐系统-新闻推荐系统实践
老马的程序人生
12-12 511
推荐系统-新闻推荐系统实践 航路开辟者：罗如意 领航员：肖桐 航海士：汪志鸿、吴忠强、赖敏材、王辰玥、毛伟、宋禹成、陈雨龙、管柯琴 基本信息 开源内容：https://github.com/datawhalechina/fun-rec 内容属性：公测课程 内容说明：新闻推荐系统实践是fun-rec开源项目中比较偏工程的实战项目（前端+后端+策略+算法），该项目没有实际的商用价值仅用于学习推荐系统的基本流程和实现过程。 定位人群：了解推荐系统，有一定的计算机基础，想了解推荐系统工程实现的同学。 特别提示
EDA
qq_41834327的博客
11-28 386
新闻推荐：task-02 数据分析 数据分为训练集用户日志和测试机用户日志，新闻信息，文章词向量。 数据分析的价值：熟悉整个数据集的基本情况，即每个文件中有哪些数据，具体的文件中每个字段所表示的实际含义，数据集特征之间的相关性。 针对于新闻推荐来说，主要需要分析的有用户自身的一个状态，用户与文章的关系，文章与文章之间的相关性，文章本身的基本属性，分析这些属性有助于后面召回策略的选择及特征工程的具体方向。 导入函数库 %matplotlib inline import numpy as np impo
基于大语言模型的智能问答系统设计与实践【系列文章】
AI架构设计之禅
03-28 2591
随着人工智能技术的迅猛发展，智能问答系统在各行各业中得到了广泛应用。无论是智能客服、在线教育，还是智能助手，问答系统都在提升用户体验和服务效率方面发挥着重要作用。然而，传统的问答系统往往依赖于规则和模板，难以应对复杂多变的用户需求，且开发成本高，维护难度大。近年来，大规模预训练语言模型（Large Language Models, LLMs）的出现，为智能问答系统带来了新的解决方案。
一文梳理推荐系统中如何应用大模型
u013250861的博客
10-13 271
今天给大家分享下华为诺亚方舟实验室的talk:《推荐系统如何从大语言模型中取长补短：从应用视角出发》，个人感觉很有信息量，我们组内同学也做过交流分享，相关信息也可以从综述找到："How Can Recommender Systems Benefit from Large Language Models: A Survey"，在此分享给大家。，需要通过引入推荐场景的数据，结合微调技术，为语言模型注入协同信号。代表性工作CTRL。研究怎么把推荐模型的信号引入LLM，但是不进行LLM的微调，代表性工作KAR。
LLM大模型能力与企业业务系统集成技术方案
最新发布
AI天才研究院
06-28 301
随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）如GPT-4、BERT等在自然语言处理领域取得了显著的成果。这些模型通过在海量数据上进行预训练，具备了强大的语言理解和生成能力。然而，如何将这些大模型的能力与企业业务系统进行有效集成，充分发挥其价值，成为了一个亟待解决的问题。LLM与企业业务系统的集成，本质上是将预训练的大语言模型通过API接口嵌入到业务系统中，使其能够处理业务请求，提供智能化的语言处理能力。
---:零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
03-11
--- 零基础入门推荐系统是天池大赛推出的新人学习赛。本笔记主要记录一个机器学习新手参考推荐系统的实现步骤，完成一个新闻推荐系统的实操笔记
Recommend News Baseline
qq_34903176的博客
11-25 313
赛题理解 赛题理解是切入一道赛题的基础，会影响后续特征工程和模型构建等各种工作，也影响着后续发展工作的方向，正确了解赛题背后的思想以及赛题业务逻辑的清晰，有利于花费更少时间构建更为有效的特征模型， 在各种比赛中， 赛题理解都是极其重要且必须走好的第一步， 今天我们就从赛题的理解出发， 首先了解一下这次赛题的概况和数据，从中分析赛题以及大致的处理方式， 其次我们了解模型评测的指标，最后对赛题的理解整理一些经验。 赛题简介 此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为背景，
《推荐系统开发实战》之实战案例（新闻推荐），mysql+Django+vue,跑通项目之前的各种配置
YangTinTin的博客
11-02 4307
1、首先，按照作者文件里给的readme文件进行ip的修改。 先看第一步，这里最好按照作者使用的各种软件版本来安装，不然可能会面临一些兼容性问题，我安装的时候，Django2.1，PyMySQL0.9.2是和作者一样的，其余如python（我用的3.5）、vue、node（我的是v12，作者v10）等和作者不一样。 第二步就是将newsrec.sql导入mysql。当然，这又涉及MySQL的...
天池新闻推荐入门推荐赛（baseline代码学习）
qq_43274397的博客
03-31 1170
datawhale的新闻推荐赛事
天池新闻推荐入门赛-TASK03-多路召回
liaojq2020的博客
11-30 1356
目录前言一、多路召回概念二、多路召回代码及结果导包读取数据数据预处理数据浏览1.用户点击日志文件（训练集）2.测试集用户点击日志3.新闻文章信息数据表4.新闻文章embedding向量表示数据分析1.用户重复点击2.用户点击环境变化分析3.用户点击新闻数量的分布4.新闻点击次数分析5.新闻共现频次：两篇新闻连续出现的次数6.新闻文章信息7.用户点击的新闻类型的偏好8.用户查看文章的长度的分布9.用户点击新闻的时间分析三、总结 前言 此文是作者参加阿里天池与Datawhale联合发起的新闻推荐场景下的用户行为
【数据挖掘】天池挑战赛 新闻推荐
Alex_SCY的博客
12-18 3980
比赛网址：https://tianchi.aliyun.com/competition/entrance/531842/introduction 一、项目知识点 数据预处理； 数据可视化； 特征工程； 模型选择； 实验结果的评价； 二、实验过程 一、比赛任务分析 1．赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章 2．赛题数据 数据来自某新闻APP平台的用户交互数据，包括30万用户，近3
关于天池赛中零基础入门推荐系统 - 新闻推荐Task01赛题理解+Baseline
weixin_43796337的博客
11-25 707
文章目录前言一、推荐系统是如何推荐的？二、用户画像是如何预测用户行为的？三、使用步骤1.引入库2.创建两个文件夹：3.压缩数据：4.分析我对一些代码片段的理解：总结 前言 在高速的网络、便捷的支付方式下，消费方式得到改进，网上购物也越来越流行。当你打开购物APP时，你是否有对它的推荐过程产生过疑惑，明明上一次只是随便搜了一下零食，而这一次打开，为你推荐了满屏零食，不得已，你又剁手了，真是又爱又恨呀。 同样地，当我们打开新闻APP看过文章时，接下来APP将会为你推荐一堆跟你历史浏览文章题材及其相似的文章,.
天池-零基础入门推荐系统新闻推荐之数据分析01
qq_44743835的博客
11-17 1697
主要目录赛题+数据理解user_id 用户id赛题背景数据说明数据探索特征工程模型预测 数据来源： 天池-零基础入门推荐系统数据-数据需要在论坛里面找 赛题+数据理解user_id 用户id 赛题背景 赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即预测用户的最后一次点击的新闻文章。 数据说明 train_click_log.csv：训练集用户点击日志 testA_click_log.csv：测试集用户点击日志 articles.csv：新闻文章信
baselinetable命令：论文基本统计量表格输出到Excel和Word
Stata连享会
07-22 506
链接：https://www.lianxh.cn/news/8635f14e51018.html 目录 1. 下载安装 2. 语法格式 3. 应用举例 4. baselinetable 与其他命令的比较 4.1 fsum 命令 4.2 tabstat 命令 5. baselinetable 结果输出 6. 结果输出和呈现相关推文 7. 参考资料 正所谓「Garbage in, garbage out」。在实证分析中，对数据的基本描述是必要一环。今天我们介绍一个简洁便利的外部命令..
知识图谱推荐系统baseline代码
08-31
知识图谱推荐系统的baseline代码是指在搭建推荐系统时的初始代码框架。该框架用于构建基础的推荐模型，包括数据预处理、特征工程、模型训练和推荐结果生成等步骤。 在数据预处理阶段，可以使用代码将原始数据清洗、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值