短视频到底如何推荐的？深度剖析视频算法推送原理详细且专业的解读-优雅草卓伊凡-【01】短视频算法推荐之数据收集-CSDN博客

本文链接：https://blog.csdn.net/dujiangdu123/article/details/146301841

短视频到底如何推荐的？深度剖析视频算法推送原理详细且专业的解读-优雅草卓伊凡-【01】短视频算法推荐之数据收集

在当今数字化时代，视频算法推送系统作为各类视频平台的核心技术，其数据收集环节是实现精准个性化推荐的基础。数据收集主要涵盖用户行为数据采集和内容数据解析两个方面，下面进行详细阐述。

研究背景

卓伊凡发布了短视频，但是观看的人不多，卓伊凡将凭借自己的技术实力开始做短视频算法推荐优化，在做这个之前必须把短视频算法推荐的原理给大家讲讲，让你们见证一步步的变化吧。

短视频推荐算法模型相关开源源码

以下5个源代码是给大家的推荐，下面卓伊凡将一步步来揭开短视频算法推荐的神秘面纱

LightFM - 一个灵活的推荐算法库

地址：GitHub - lyst/lightfm: A Python implementation of LightFM, a hybrid recommendation algorithm.
简介：LightFM 是一个 Python 库，实现了混合推荐算法（结合了内容和协同过滤）。虽然它不是专门针对短视频推荐，但可以用于构建基于用户 - 物品交互的推荐系统，通过合适的特征工程可以应用到短视频场景，例如将视频的标签、用户的观看历史等作为特征。

Surprise - 简单易用的推荐系统库

地址：https://github.com/NicolasHug/Surprise
简介：Surprise 是一个用于构建和分析推荐系统的 Python 库。它提供了多种经典的推荐算法，如基于用户的协同过滤、基于物品的协同过滤、SVD 等。可以使用它来对短视频用户的评分（点赞、观看时长等可转化为评分）数据进行建模和推荐。

DeepRec - 基于 TensorFlow 的深度推荐系统

地址：GitHub - DeepRec-AI/DeepRec: DeepRec is a high-performance recommendation deep learning framework based on TensorFlow. It is hosted in incubation in LF AI & Data Foundation.
简介：由阿里巴巴开源的基于 TensorFlow 的深度推荐系统。它提供了丰富的深度学习模型和工具，可用于构建复杂的短视频推荐算法，例如使用深度学习模型学习用户和视频的特征表示，进而进行个性化推荐。

Spotlight - 基于 PyTorch 的序列推荐库

地址：GitHub - maciejkula/spotlight: Deep recommender models using PyTorch.
简介：Spotlight 是一个基于 PyTorch 的推荐算法库，专注于序列推荐任务。在短视频场景中，用户的观看历史往往具有序列特征，该库可以用于挖掘这些序列信息，从而进行更精准的推荐。

Recommenders - 微软开源的推荐系统工具包

地址：GitHub - recommenders-team/recommenders: Best Practices on Recommendation Systems
简介：微软开源的推荐系统工具包，提供了多种推荐算法的实现，包括深度学习和传统机器学习方法。它还包含了数据处理、模型评估等工具，可用于构建和评估短视频推荐模型。

一、用户行为数据采集

用户行为数据能够直观反映用户的兴趣偏好和行为习惯，对于构建用户画像和精准推荐起着关键作用。平台借助日志系统来全面捕获用户在平台上的各类交互行为数据。

前端埋点技术：通过在视频平台的前端页面进行特定的代码埋点，精确记录用户的浏览行为。例如，记录用户浏览的视频页面路径，这可以清晰地呈现用户在平台上的浏览轨迹，了解用户对不同类型视频页面的访问顺序和偏好。访问时间戳则精确记录了用户访问每个页面的具体时间，有助于分析用户在不同时间段的活跃情况和视频浏览习惯。
事件追踪机制：用于详实采集用户的操作行为，如点赞、评论、转发等。这些行为是用户对视频内容态度的直接体现，点赞表示用户对视频的喜爱，评论反映了用户对视频内容的深入思考和参与度，转发则意味着用户认为该视频具有一定的价值并愿意分享给他人。通过对这些行为数据的分析，可以更准确地把握用户的兴趣倾向。
时间监测算法：精准计算视频播放的停留时长，这一数据能够反映用户对视频内容的感兴趣程度。停留时长较长可能表示用户对视频内容比较感兴趣，而停留时长较短则可能意味着视频内容未能吸引用户的注意力。通过对停留时长的分析，平台可以进一步优化视频推荐策略，优先推荐用户可能感兴趣的视频。
搜索框监听技术：获取用户输入的搜索关键词，这是用户主动表达兴趣需求的重要方式。通过分析搜索关键词，平台可以了解用户的即时兴趣点，为用户提供更符合其需求的视频推荐。此外，还收集用户播放的时间段、使用的播放设备信息、播放次数统计、重复观看特定片段的时间点与次数，以及快进快退操作的时间与幅度等多维度数据。播放的时间段可以分析用户的活跃时间规律，播放设备信息有助于优化不同设备上的视频播放体验，播放次数统计和重复观看特定片段的信息可以进一步挖掘用户的兴趣偏好，快进快退操作的时间与幅度则反映了用户对视频内容的关注重点和不耐烦程度。

二、内容数据解析

对视频内容数据的解析是理解视频内容性质和价值的关键步骤，主要运用自然语言处理、图像识别、音频分析和视频结构分析等多种技术。

自然语言处理（NLP）技术：对视频的标题、描述文本进行词性标注、句法分析、语义理解，提取关键语义信息。词性标注是对文本中的每个词进行词性分类，如名词、动词、形容词等，有助于理解文本的语法结构。句法分析则分析句子的语法结构，确定句子的主语、谓语、宾语等成分，进一步理解句子的含义。语义理解是通过对文本的语义分析，提取关键语义信息，如视频的主题、核心内容等。这些关键语义信息可以用于视频的分类和检索，也为视频推荐提供了重要的文本特征。

图像识别技术：针对视频中的关键帧图像进行特征提取，如尺度不变特征变换（SIFT）、加速稳健特征（SURF）等。SIFT 算法能够在不同的尺度空间上检测到稳定的特征点，并提取其特征描述符，具有尺度不变性、旋转不变性和光照不变性等优点。SURF 算法是对 SIFT 算法的改进，具有更快的计算速度和更好的鲁棒性。通过这些特征提取算法，可以识别视频中的场景、人物、物体等视觉元素，为视频内容的理解和分类提供重要的视觉特征。
音频分析技术：提取音频的频率特征、梅尔频率倒谱系数（MFCC），识别背景音乐风格、语音词汇。频率特征是音频信号的基本特征之一，通过分析音频的频率成分可以了解音频的基本特征。MFCC 是一种常用的音频特征提取方法，它模拟了人类听觉系统的感知特性，能够有效地提取音频的特征信息。通过对音频的分析，可以识别背景音乐的风格，如流行、摇滚、古典等，还可以识别语音词汇，为视频内容的理解和分类提供音频特征。
视频结构分析算法：剖析镜头切换频率、时长分布等结构特征。镜头切换频率反映了视频的节奏，切换频率较高的视频可能节奏较快，更适合喜欢快节奏内容的用户；切换频率较低的视频可能节奏较慢，更适合喜欢慢节奏内容的用户。时长分布则反映了视频中不同镜头的时长情况，通过对时长分布的分析，可以了解视频的结构和内容组织方式。这些结构特征对于视频内容的理解和分类也具有重要意义。