自然语言处理
文章平均质量分 67
小道自己的NLP知识体系梳理。涉及大部分的NLP任务,会有理论和实战。
横行小道
必须记录点东西,这么多东西不写出来就真的忘了,好多东西都是研究了好久的,惭愧,现在才开始写点东西。
展开
-
NLP任务梳理
在公司做NLP也做了1年多了,学校学习了3年,发觉知识还不是很系统,最近几个月花时间来归纳总结一下所学知识,梳理一下NLP的路线,为成为更好的NLP算法工程师而努力,主要是给自己看的,所以可能会有些啰嗦,参考的文章在文末我都会附上链接。如果有幸能帮助到一些新入门NLP的同学,那更加有意义了。既然开了博客,这里就先立一个Flag,每周更新2篇(每篇超过1000字),年前把自己做过的NLP任务都涉及...原创 2019-10-09 18:28:09 · 267 阅读 · 1 评论 -
文本分类(一)
NLP最重要的一个任务就是文本分类,最直接的,需要判断是什么类别的文章,是体育的还是新闻的。类似的还有判断是消极的还是积极的,我自己做过一些任务也都可以归结到文本分类中,比如判断一句话是闲聊还是非闲聊,判断一条评论是正向的还是负向的。...原创 2019-10-09 18:28:45 · 392 阅读 · 0 评论 -
NLP短文本聚类算法(1)
由于工作原因,无监督的将相似句聚类,所以需要对聚类算法有比较深入的研究,单纯的调用sklearn无法满足工作需求,故对其进行实现。本文主要分三部分,第一部分描述对层次聚类的总结(因为这是工作中最终选取的算法),第二部分描述kmeans算法(谈聚类怎么能不谈kmeans),第三部分描述神经网络的聚类算法(这部分还没仔细研究,先挖个坑)(一)聚类算法综述机器学习中,对数据的...原创 2018-08-10 22:56:11 · 3025 阅读 · 3 评论 -
NLP短文本聚类算法(2)
本文详细整理下文本的特征抽取,从one-hot到transformer原创 2019-10-11 16:28:04 · 527 阅读 · 2 评论