1、目前怎么构建样本的?如果排序中第5个被点了,前面的作为负样本,后面的不要怎么样;为什么不好,为什么好。
点击作为负样本,曝光未点击作为负样本;
可以这样理解。您提到的排序中第5个被点的对象可以作为正样本,而排在它前面的4个对象可以被视为负样本。这种处理方式的合理性取决于您的具体任务和目标:
-
正负样本定义:如果您将第5个点作为正样本,意味着它是您希望被推荐或关注的对象。而它之前的4个对象被点的次数较多或更受关注,可能泛指为较少关心或者不符合用户偏好的对象,因此视为负样本。
-
不考虑后面的对象:您选择不考虑第5个之后的对象,可能是因为在当前的用户行为中没有相关的信息或交互。这样的处理可以减少噪声,聚焦于当前用户的喜好。
-
影响结果的因素:这种方法在数据不足或需要简化模型时可能有效,但在数据丰富的情况下,考虑更多的样本可能会提供更全面的视角。
总结来说,您的思路在特定的应用场景下是可行的,但要合理设计和验证模型,以确保其有效性。
2、现在的业务指标是什么?为什么?换成其他的可不可以?
现在的业务指标;播转:播放转化;单用户价值ts;gsb多维度考虑的;
搜索一般考虑top1,top1命中率等
3、目前用到的多目标是啥?
mmoe;ple
4、特征用了什么?embdding特征为啥不用bert初始化?
在排序模型中,嵌入(embedding)特征是否使用 BERT 初始化通常取决于具体任务的需求以及上下文。
以下是一些可能的原因,为什么在某些情况下选择不使用 BERT 进行初始化:
-
计算效率:BERT 模型相对较大,涉及复杂的计算,对计算资源和时间要求较高。在一些实时系统中,使用轻量级的嵌入特征可能更为合适。
-
数据量问题:如果训练数据较少,直接使用 BERT 进行初始化可能会导致过拟合。此时使用简单的嵌入方法,如 Word2Vec 或 GloVe,可能更为有效。
-
领域特定性:BERT 是一个通用的上下文嵌入模型,在某些特定领域(如医学、法律等),可能需要专门训练的嵌入模型来捕捉领域特征。因此,使用领域特定的嵌入而不是 BERT 可能效果更好。
-
任务特性:在一些排序任务中,特征往往是结构化的,BERT 的句子级嵌入可能无法很好地捕捉这些特征之间的关系。在这些情况下,可能更倾向于使用简单的嵌入方法来保证模型的可解释性。
-
目标与资源的权衡:在大规模排序任务中,简单的特征可以更快速地进行训练和推理。在资源有限且对实时性要求较高的情况下,可能会选择不使用复杂的 BERT 初始化。
综上所述,是否使用 BERT 进行初始化取决于具体的应用场景、数据特征、领域要求和计算资源等多种因素。
5、行为序列建模
长度怎么选择,为什么选择这个长度?
这个长度能覆盖80%用户近1个月的观看序列;选择更加长的长度需要考虑模型开销问题
6、qd embdding建模,训练时,query和doc的term没有见过,embedding会不会学的不好
在训练过程中,如果查询(query)和文档(doc)的项(item)没有见过,那么生成的嵌入(embedding)的质量可能会受到影响。这主要体现在以下几个方面:
-
缺乏上下文信息: 如果模型没有见过特定的查询或文档,它可能无法有效地捕捉到它们的语义特征,从而影响嵌入的表示能力。
-
过拟合风险: 如果训练集没有包含足够多的样本,可能导致模型过拟合于已见过的数据,无法很好地泛化到新数据。
-
数据稀缺问题: 对于一些特定领域的查询和文档,可能会出现数据稀缺的情况,导致模型无法学习到足够的特征。
为了解决这些问题,可以考虑以下策略:
- 数据增强: 增加更多的训练样本,包括变换、同义词替换等,来增加模型的泛化能力。
- 迁移学习: 使用预训练的模型,这些模型可能已经在大量数据上学习到了丰富的语义信息。
- 基于上下文的嵌入: 使用基于上下文的模型(如BERT、GPT等)生成嵌入,这些模型在生成嵌入时能够考虑到更丰富的上下文信息。
- 多任务学习: 训练模型时同时使用多个相关的任务,帮助模型更好地学习语义关系。
综上所述,虽然没有见过的查询和文档可能会影响嵌入的质量,但通过合理的策略可以缓解这些影响。