文本相似度计算（中英文）详解实战

BRYTLEVSON

已于 2022-07-15 10:19:53 修改

阅读量2.3k

点赞数 1

分类专栏：技术总结文章标签：自然语言处理机器学习深度学习

于 2022-03-11 17:25:00 首次发布

本文链接：https://blog.csdn.net/brytlevson/article/details/123429353

版权

技术总结专栏收录该内容

28 篇文章 4 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细介绍了如何使用TF-IDF模型进行中英文文本相似度计算。首先，对于英文文本，去除停用词后构建词典并转换为稀疏向量，然后训练TF-IDF模型，并通过测试集验证。对于中文文本，增加了分词步骤，其余过程相同。通过设置阈值，可以有效过滤相似度较低的文本。

摘要由CSDN通过智能技术生成

使用tf_idf模型实现中英文文本相似度计算

1. 英文文本相似度计算

测试文本

documents = [
    "Is there anything good playing?",
    "let's meet at the movie theater entrance tonight. Don't be late.",
    "Are you going to the movie theater with me tonight?",
    "I get a lump in my throat whenever I see a tragic movie."

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BRYTLEVSON

关注关注

1
点赞
踩
12

收藏

觉得还不错? 一键收藏
打赏
0
评论
文本相似度计算（中英文）详解实战

使用tf_idf模型实现中英文文本相似度计算1. 英文文本相似度计算测试文本documents = [ "Is there anything good playing?", "let's meet at the movie theater entrance tonight. Don't be late.", "Are you going to the movie theater with me tonight?", "I get a lump in my throa
复制链接

扫一扫