推荐系统学习记录——BERT、SBERT

1.BERT

BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google研究团队于2018年提出。它采用Transformer架构，并在大型文本语料库上进行了无监督的预训练。BERT的特点是双向编码器，可以同时考虑上下文中的所有单词，因此在处理各种自然语言处理任务时表现出色。

2.SBERT

SBERT（Sentence-BERT）是基于BERT模型的一个变体，专门用于生成句子级别的向量表示。它通过对BERT进行微调或进一步训练，使得BERT能够直接产生句子级别的语义向量。这些向量可以在语义空间中捕捉句子的含义，从而用于各种句子级别的自然语言处理任务，如文本相似度计算、句子分类等。

3.BERT和SBERT的区别

• 应用领域：

  • BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，主要用于生成单词级别的向量表示。它在大型语料库上进行了无监督的预训练，可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。
  • SBERT（Sentence-BERT）是基于BERT模型的一个变体，专门用于生成句子级别的向量表示。它通过微调或进一步训练BERT模型，使其能够直接生成句子级别的语义向量。SBERT主要用于句子级别的自然语言处理任务，如文本相似度计算、句子分类、聚类等。

• 生成的向量粒度：

  • BERT生成的向量表示通常是单词级别的，即每个单词都有一个对应的向量表示。这些向量可以被用于构建句子、段落或文档的表示，但它们是由单词级别的表示组合而成的。
  • SBERT生成的向量表示是句子级别的，即每个句子都有一个对应的向量表示。这些向量直接捕获了整个句子的语义信息，因此更适合用于句子级别的任务。