- 博客(3)
- 收藏
- 关注
RSS订阅转载 TF-IDF与余弦相似性的应用（三）：自动摘要
有时候，很简单的数学方法，就可以完成很复杂的任务。 这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。 今天，依然继续这个主题。讨论如何通过词频，对文章进行自动摘要（Automatic summarization）。 如果能从3000字的文章，提炼出150字的摘要，就可以为读者节省大量阅读时间。由人完成的...
2019-02-16 21:32:23
345
转载 TF-IDF与余弦相似性的应用（二）：找出相似文章
上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。 为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来说明，什么是"余弦相似性"。 为了简单起见，我们先从句子着手。 句子...
2019-02-16 21:28:52
513
转载 TF-IDF与余弦相似性的应用（一）：自动提取关键词
这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？ 这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经典算法，可以给出令人相当满意的结果。它简单到都不需要高等数学，普通人只用10分...
2019-02-16 21:26:48
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人