【主题建模】一种用于主题建模和语义搜索的算法:Top2Vec

Top2Vec是一种主题建模和语义搜索的算法,通过联合嵌入、降维、聚类和计算质心等步骤,自动检测文本主题并生成向量表示。该算法利用Doc2Vec等技术创建文档和词的联合嵌入,通过UMAP降维找到密集区域,再用HDBSCAN进行聚类,计算出主题向量,并根据词向量排序确定主题词。
摘要由CSDN通过智能技术生成

一种用于主题建模和语义搜索的算法:Top2Vec

Top2Vec 是一种用于 主题建模语义搜索 的算法。它自动检测文本中出现的主题,并生成联合嵌入的主题、文档和词向量。

算法基于的假设:许多语义相似的文档都可以由一个潜在的主题表示。首先,创建文档和词向量的联合嵌入。一旦文档和单词被嵌入到向量空间中,算法的目标就是找到密集的文档簇,然后找到是哪些单词将这些文档聚集在一起。每个密集区域即为一个主题,将文档聚拢到密集区域的词就是主题词。

1.联合嵌入

使用 Doc2VecUniversal Sentence EncoderBERT Sentence Transformer 创建文档和词向量的联合嵌入。

文档将被放置在靠近其他类似文档和靠近最有区别的词的地方。

在这里插入图片描述

2.降维

使用 UMAP 为文档向量的降维。高维空间中的文档向量非常稀疏,降维有助于找到密集区域。每个点都代表了一个文档向量。

  • 3
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值