NLP
ChanKamShing
这个作者很懒,什么都没留下…
展开
-
朴素贝叶斯
直接转自来源:(https://blog.csdn.net/zxm1306192988/article/details/78483764) 本文从NLP切入口(朴素贝叶斯)讲解NLP技术,讲解潜序渐进,通俗易懂,有兴趣的同学可以点击链接进去学习学习。...转载 2019-07-29 12:01:39 · 96 阅读 · 0 评论 -
Spark实现TF-IDF——文本相似度计算
在Spark1.2之后,Spark自带实现TF-IDF接口,只要直接调用就可以,但实际上,Spark自带的词典大小设置较于古板,如果设置小了,则导致无法计算,如果设置大了,Driver端回收数据的时候,容易发生OOM,所以更多时候都是自己根据实际情况手动实现TF-IDF。不过,在本篇文章中,两种方式都会介绍。数据准备: val df = ss.sql("se...原创 2019-09-01 00:11:53 · 1602 阅读 · 2 评论