自然语言处理系列
monsterwang_
不懂潮流的数据分析师不是好程序员
展开
-
文本相似度与文本分类的区别
最近在做文本相似度任务,首先是生成句向量,接着计算两句话的余弦距离,得到两句话的相似程度,从而判断一句话的语义。这时候我就在想,为什么不用文本分类任务做呢,如果用文本分类任务,也是最后得到一句话归属的类别。下面是我的一些想法。文本分类呢需要先标注好一段文本是属于哪一个类别,类别需要预先定义好,再去训练模型,使得输入一句话或一段文本,模型输出这段文本属于哪个类别。常用的文本分类算法有:CNN...原创 2020-02-24 16:14:15 · 2018 阅读 · 0 评论 -
自然语言处理系列--15分钟彻底搞懂语言模型
语言模型(Language Model)作为自然语言处理中最基础的模型,是入门NLP的必学知识,大名鼎鼎的词向量其实跟语言模型有着千丝万缕的关系。作为初学者,看繁琐的文章可能会“难以下咽”,那么就由monster老师在短短15分钟内,将语言模型彻底讲明白,帮助你搞懂:什么是语言模型N元语法请点击下面的链接:欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑...原创 2019-09-29 21:37:26 · 289 阅读 · 0 评论