机器学习（五）朴素贝叶斯

拉格朗日乘子法 Lagrange Multiplier

举个栗子：
假如有方程$$x^{2}y=3$$
是下图等高线中的一条：

梯度向量:

我们相求上面的点到原点的最短距离;
引入同心圆，可以看做函数$f(x,y)=x^2+y^2$的等高线

这是等高线的发线：

在圆与曲线相切的时候，梯度向量平行;
要求函数 f 在 g 约束下的极值问题：
$$\begin{gathered} minmaxf \\ s.t.g=0 \end{gathered}$$
可以列出方程求解：
$$\{\begin{array}{c}▽f=\lambda ▽g\\ g=0\end{array}$$

多个约束条件


另一个栗子：

朴素贝叶斯 Naive Bayes

重要的假设

朴素贝叶斯对条件概率分布做了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯也因此得名，具体的，条件独立性假设如下：
$$P(X=x|Y=y)=P(X1=x1,X2=x2,...,Xn=xn|Y=y)=\prod _{j=1}^{n}P(Xj=xj|Y=y)$$

则有以下结论：
$$\begin{gathered} P(Y=y,X1=x1,X2=x2,...,Xn=xn)=P(Y=y)\prod _{i=1}^{n}P(Xj=xj|Y=y) \\ =p_Y(y)\prod _{j=1}^n{p}_{X_j|Y}(x_j|y) \end{gathered}$$

省略下标的形式
$$P(Y=y,X1=x1,...,Xn=xn)=p(y)\prod _{j=1}^n{p}_j(x_j|y)$$

应用极大似然估计估计相应概率

$$p(y)=\frac{count(y)}{m}=\frac{{\sum }_{i=1}^{m}1(y^{(i)}=y)}{m},\forall y$$
$$p_j(x|y)=\frac{coun{t}_j(x|y)}{count(u=y)}=\frac{{\sum }_{i=1}^{m}1(y^{(i)}=y\wedge x^{(i)}=x)}{{\sum }_{i=1}^{m}1(y^{(i)}=y)}$$

朴素贝叶斯分类器

$$y=f(x)=\arg \underset{ck}{\max }\frac{P(Y=ck){\prod }_{j}P(X_j=x_j|Y=ck)}{{\sum }_{k}P(Y=ck){\prod }_{j}P(X_j=x_j|Y=ck)}$$

由于分母都时相同的，因此
$$y=\arg \underset{ck}{\max }P(Y=ck)\prod _{j}P(X_j=x_j|Y=ck)$$

拉普拉斯平滑

用极大似然估计会出现要估计概率为0的情况，或者0/0的情况，是的后验概率出现偏差。
使用拉普拉斯平滑

k 是y有多少种可能的取值，$v_j$是第j个feature有多少种可能的取值