NBSVM (Naive Bayes - Support Vector Machine)学习

---

title: NBSVM 算法学习
date: 2020-06-14 18:14:29
tags:

---

NBSVM (Naive Bayes - Support Vector Machine)学习

相关资料

论文：Baselines and Bigrams: Simple, Good Sentiment and Topic Classification.

fastai课程： Naive Bayes video.

kaggle：NB-SVM strong linear baseline

Motivation

NB(Naive Bayes)在短文本上表现好，SVM在长文本上表现好。(论文里的观点，实际可能未必！)

NB(Naive Bayes)

贝叶斯公式（西瓜书里有比较有趣的介绍）。一些基本概念（ppt来自刘成林老师）：

举例说明，假如一个要判定一个comment是不是有毒(toxic), 如果看不到文本内容情况下，自然可以用抛硬币的模型则p(toxic=1)=0.5, 如果看到了内容里的一个单词，比如‘fxxk’，那么p(toxic=1｜word=‘fxxk’)的概率可能要远远大于0.5，而目标就是求这个后验概率p(w|x)，$P(w_i)$ 为类别为i的概率,贝叶斯公式：

$$p(w_i|x)=\frac{p(x|w_{}}{p(x)}$$