机器学习6 - 算法进阶1

知识点

1. 最大似然函数
   $$L(x_1,x_2,\dots ,x_n;{\theta }_1,{\theta }_2,\dots ,{\theta }_k)=\prod _{i=1}^{n}f(x_i,{\theta }_1,{\theta }_2,\dots ,{\theta }_k)$$
   求$\theta$的值从而使得似然函数取最大值。求解：
   $$logL({\theta }_1,{\theta }_2,\dots ,{\theta }_n)=\sum _{i=1}^{n}logf(x_i;{\theta }_1,{\theta }_2,\dots ,{\theta }_k)$$
   $$\frac{\partial L(\theta )}{\partial {\theta }_i}=0i=1,2,\dots ,k$$
2. 二项分布
   $$f(n|p)=log(p^n(1-p{)}^{N-n})=h(p)$$
   $$\frac{\partial h(p)}{\partial p}=\frac{n}{p}-\frac{N-n}{1-p}\to 0\Rightarrow p=\frac{n}{N}$$
3. 正态分布
   $$l(x)=-\frac{n}{2}log(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _i(x_i-\mu {)}^2$$对$\sigma ,\mu$求导可以得出:
   $$\{\begin{array}{l}\mu =\frac{1}{n}{\sum }_i{X}_i\\ {\sigma }^2=\frac{1}{n}{\sum }_i(X_i-\mu {)}^2\end{array}$$
4. 高斯分布的对数似然和最小二乘。
   $$y_i={\theta }^T{x}_i+{ϵ}_i$$
   假设${ϵ}_{i}n(0,{\sigma }^2)$，线性模型。
   $$\begin{array}{rl}L(y_i|\theta ,x_i)& =log\prod _i^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{ϵ}_i^2}{2{\sigma }^2}}\\ & =log\prod _i^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(y_i-h_{\theta }(x_i){)}^2}{2{\sigma }^2}}\\ & =-\frac{n}{2}log2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(y_i-h_{\theta }(x_i){)}^2\\ & \Rightarrow maximize-\frac{1}{2}\sum _{i=1}^n(y_i-h_{\theta }(x_i){)}^2\\ & \iff minimize\sum _{i=1}^n(y_i-h_{\theta }(x_i){)}^2\end{array}$$使用最小二乘求解即可。广义逆，MOORE-PENROSE逆：
   $$A^{+}=(X^{T}X{)}^{-1}{X}^T$$
5. Ridge L2正则。Lasso L1正则。
   ElasticNet正则项：
   $$\lambda (\rho \sum _j|{\theta }_j|+(1-\rho )\sum _j{\theta }_j^2)$$
   当模型复杂时偏向于LASSO，当模型简单时偏向于RIDGE。
6. 梯度下降算法：
   • batch(BGD)：全部数据做的。
   • 随机梯度法(SGD)：每次随机选取一个样本。
   • mini-batch：折中法，选取小批量样本取平均梯度做下降，一般取2的次幂。
   • Adaboost：自适应的为各个参数分配不同学习率的算法，通过每个参数的学习率除以它之前导数的均方根来调节学习率。
7. 决定系数
   $$\begin{array}{rl}{R}^2& =\frac{SSR}{SST}\\ & =\frac{{\sum }_i(\hat{y}-\overline{y_i}{)}^2}{{\sum }_i(y_i-\bar{y}{)}^2}\end{array}$$
8. 逻辑回归参数估计:
   假设二项分布，广义线性模型。
   决策边界求解：
   $$\begin{array}{rl}\frac{P(y=1|x,w)}{P(y=0|x,w)}& =1\\ e^{-(w^{t}x+b)}& =1\\ w^{t}x+b& =0\end{array}$$
   由此可得线性决策边界，因此逻辑回归是线性分类器。
   $$\begin{gathered} P(\theta )=\prod _i{h}_{\theta }(x_i{)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i} \\ L(\theta )=\sum _i{y}_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i)) \end{gathered}$$
   其损失函数即为$-L(\theta )$，核心是sigmoid函数：
   $$g(x)=\frac{1}{1+e^{-x}}$$
   $$g^{\prime }(x)=\frac{e^{-x}}{1+e^{-x}}=g(x)(1-g(x))$$
   没有解析解，因此使用梯度下降法求解：
   $$\begin{array}{rl}\frac{\partial L(\theta )}{\partial {\theta }_j}& =\sum _i(\frac{y_i}{h}-\frac{1-y_i}{1-h})\frac{\partial h}{\partial {\theta }_j}\\ & =\sum _i(\frac{y_i}{g}-\frac{1-y_i}{1-g})g(1-g)\frac{\partial g}{\partial {\theta }_j}\\ & =\sum _i(y_i-g({\theta }^T{x}_i))x_{ij}\end{array}$$
   $${\theta }_j={\theta }_j+\alpha (y_i-h_{\theta }(x_i)x_{ij})$$
   $$\begin{gathered} w^{t+1}=w^t-{\eta }_t\sum _{i=1}^N[\sigma (w^T{x}_i+b)-y_i]x_i \\ {b}^{t+1}=b^t-{\eta }_t\sum _{i=1}^N[\sigma (w^T{x}_i+b)-y_i] \end{gathered}$$
   上式为正向增大极大似然函数，即减小损失函数。
9. 凡是符合指数族分布的随机变量，都可以使用广义线性模型。指数族分布：高斯，二项，伯努利，泊松，伽马。
10. softmax分类器：
    $$p(c=k|x;\theta )=\frac{exp({\theta }_k^{T}x)}{{\sum }_{i=1}^{k}exp({\theta }_i^{T}x)}$$
11. ROC曲线：横坐标为FPR, 纵坐标为TPR, AUC为ROC下面积。
12. 熵（核心概念）对应事件的不确定性。

• 条件熵：$H(Y|X)=H(X,Y)-H(X)=H(Y)-I(X,Y)$
• 相对熵：又称互熵，交叉熵，KL散度等。
  设p(x),q(x)是X中取值的两个概率分布，则p对q的相对熵是
  $$D(p||q)=\sum _{x}p(x)log\frac{p(x)}{q(x)}$$相对熵可以度量两个变量间的距离。
• 互信息：
  $$I(X,Y)=D(P(X,Y)||P(X)P(Y))$$
  $$I(X,Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$
  独立则为0，不独立大于0。
  重要结论：
  • I(X,Y) = H(X)+H(Y)-H(X,Y)
  • H(X|Y)<=H(X), H(Y|X)<=H(Y)

13. 决策树：贪心算法。ID3,C4.5,CART。关于Gini index:
    将$f(x)=-lnx$在x=1处泰勒展开，忽略高阶无穷小，可以得到$f(x)\approx 1-x$。
    $$H(x)=-\sum _{k=1}^K{p}_{k}ln{p}_k\approx \sum _{k=1}^K{p}_k(1-p_k)$$
    决策树缺点：泛化能力弱，可能发生过拟合。
14. Bagging：综合多个分类器决定数据的类别。Bootstrap抽样N次，一次都没有出现过的数据概率：
    $$1-(1-\frac{1}{N}{)}^N=1-((1+\frac{1}{-N}{)}^{-N}{)}^{-1}=1-\frac{1}{e}\approx 36.8\%$$
    $$\begin{array}{rl}\underset{n\to \infty }{\lim }(1+\frac{1}{n}{)}^n& =\underset{n\to \infty }{\lim }1+n\ast \frac{1}{n}+\frac{n(n-1)}{2n^2}+\frac{n(n-1)(n-2)}{6n^3}+\dots \\ & =1+1+\frac{1}{2!}+\frac{1}{3!}+\cdots +\frac{1}{n!}\\ & =e\end{array}$$
    OOB data: 36.8% 用来验证
15. 样本不平衡的解决方法，假定严重不平衡。

• A类欠采样
  • 随机欠采样
  • A类分成若干子类，分别与B建模
  • 基于聚类的A类分割
• B类过采样
• B类数据合成(SMOTE)：随便选取少类样本点，随机选取该点最近的n个同类点，从中随机选取一个点在连线上生成一个新的数据点。
• 代价敏感学习，降低A权重，增加B权重。

16. 思考：

    • 使用随机森林为何可以提高正确率，减少过拟合? 引入了随机性。
    • 决策树后剪枝如何操作？https://www.jianshu.com/p/794d08199e5e
    • 决策树是几叉树与这棵树的分类数目有什么关系？没有关系。
    • 如果特征连续，如何得到分割点？离散为是否，连续则为<>=，同样适用gini系数。
    • 请解释gini系数为何可以用于分类标准？gini系数是熵函数的一阶近似展开，因此可以用于分类标准。

17. 提升：可用于回归和分类，每一步产生一个弱预测模型，并加权累积到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称为梯度提升。理论意义：只要存在弱分类器，则可以通过提升的办法得到强分类器。通常，
    $$L(y,F(\mathbf{x}))=\frac{1}{2}(y-F(\mathbf{x}){)}^2$$
    $$L(y,F(\mathbf{x}))=|y-F(\mathbf{x})|$$
    假定$F(\mathbf{x})$是一族基函数$f_i(\mathbf{x})$的加权和
    $$F(\mathbf{x})=\sum _{i=1}^M{\gamma }_i{f}_i(\mathbf{x})+const$$
    假设$x_i$升序，求解：
    $${\mu }^{\ast }=argmin\sum _{i=1}^n|x_i-\mu |$$
    $$J(\mu )=\sum _{i=1}^n|x_i-\mu |=\sum _{i=1}^k(\mu -x_i)+\sum _{i=k+1}^n(x_i-\mu )$$
    $$\frac{\partial J(\mu )}{\partial \mu }=\sum _{i=1}^k(-1)+\sum _{i=k+1}^n(1)=0$$
    则$\mu$为中位数。同理可证若$L$为平方，则$\mu$为均值。
    $$F_0(\mathbf{x})=argmin\sum _{i=1}^{n}L(y_i,\gamma )$$
    以贪心的思路扩展到
    $$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})+argmin\sum _{i=1}^{n}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}})+f({\mathbf{x}}_{\mathbf{i}}))$$
    $$F_m(\mathbf{x})=F_{m-1}(\mathbf{x})-{\gamma }_m\sum _{i=1}^n{\nabla }_{f}L(y_i,F_{m-1}({\mathbf{x}}_{\mathbf{i}}))$$
    其中${\gamma }_m$为步长。

18. GBDT：
    目标函数：
    $$J(f_t)=\sum _{i=1}^{n}L(y_i,{\widehat{y_i}}^{(t-1)}+f_t(x_i))+\Omega (f_t)+C$$
    其中${\widehat{y_i}}^{(t-1)}$为前t-1棵树在第i个样本的输出和，$f_t$为第t棵树在第i个样本的值，求和则为第i个样本的预测值。

19. Xgboost核心求解过程，根据泰勒展示：
    $$J(f_t)\approx \sum _{i=1}^n[L(y_i,{\widehat{y_i}}^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)+C$$
    $$\Omega (f_t)=\gamma T+\frac{1}{2}\sum _{j=1}^T{w}_j^2$$
    推导公式：
    
    
    
    在结点处如何划分，枚举可行的分割点，选择增益最大的划分，重复操作，直到满足某阈值或得到纯结点。
    $$Gain(\varphi )=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$

20. Xgboost与GBDT的比较，Xgboost使用了二阶泰勒展开，可以更快地在训练集上收敛。

    • 由于随机森林族本身具备过拟合优势，因此Xgboost一定程度上具备该优势
    • Xgboost实现中使用了多核/并行计算，因此训练速度快，同时它的原生语言为C/C++，这是它速度快的根本原因。

21. Adaboost:
    构建基本分类器的线性组合
    $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
    计算$G_m(x)$在训练数据集上的分类误差率
    $$e_m=P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)<0.5$$
    计算${\alpha }_m$：
    $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
    其中 G m ( x ) ∈ { − 1 , 1 } , y ∈ { − 1 , 1 } G_{m}(x)\in \{-1,1\},y\in\{-1,1\} Gm​(x)∈{−1,1},y∈{−1,1}。
    得到最终分类器
    $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

base_estimator = DecisionTreeClassifier(criterion,max_depth,min_sample_split)
clf = AdaBoostClassifier(base_estimator,n_estimators,learning_rate)
clf.fit()

Adaboost是加法模型，损失函数为指数函数，学习算法为前向分布算法时的二类学习方法。
$$L(y,f(x))=exp(-yf(x))$$

22. 支持向量机。

• 距离公式：
  $$d=\frac{|A{x}_0+B{y}_0+C|}{\sqrt{A^2+B^2}}$$
• 目标函数：
  a r g m a x { 1 ∣ ∣ w ∣ ∣ m i n [ y i ⋅ ( w T ⋅ Φ ( x i ) + b ) ] } arg max\{\frac{1}{||w||}min [y_{i}\cdot(w^{T}\cdot\Phi(x_{i})+b)]\} argmax{∣∣w∣∣1​min[yi​⋅(wT⋅Φ(xi​)+b)]}
  目标函数变形：
  $$\{\begin{array}{l}max\frac{1}{||w||}\\ s.t.y_i(w^T\cdot \Phi (x_i)+b)\ge 1i=1,2,3,...,n\end{array}$$
  即
  $$\{\begin{array}{l}min\frac{||w||}{2}\\ s.t.y_i(w^T\cdot \Phi (x_i)+b)\ge 1i=1,2,3,...,n\end{array}$$
• 拉格朗日乘子法：原问题是极小极大问题，对偶问题是极大极小问题。拉格朗日方程：
  $$G(x,\nu ,\lambda )=f(x)+\sum _{i=1}^n{\nu }_i{f}_i(x)+\sum _{j=1}^m{\lambda }_j{h}_j(x)$$
  其对偶函数为
  $$minG(x,\nu ,\lambda )$$
  是一个凹函数，可以凸优化求解。其中$f_i(x)\le 0$，$h_j(x)=0$，${\nu }_i\ge 0$，$\lambda \in R$。
• 求解：
  
  
  
  
  
  线性支持向量机
  • 不一定分类完全正确的超平面就是最好的
  • 样本数据本身线性不可分
• 核函数。本质上是将原特征映射到高维空间之后使其线性可分。
  • 多项式核：$K(x_1,x_2)=(x_1\cdot x_2+c{)}^d$，d=1时线性核。
  • 高斯核RBF：$K(x_1,x_2)=exp(-\gamma \cdot ||x_1-x_2|{|}^2)$
  • Sigmoid核：$K(x_1,x_2)=tanh(x_1\cdot x_2+c)$
    实际应用中，往往依赖先验知识，若无则选择高斯核函数。注意：使用高斯核函数前需要做feature scaling。
    
• SVM可以看成是一个两层的神经网络，一层做了特征映射，一层做了分类。
  核函数选特征，拉格朗日乘子法选支撑向量。和CNN相似，都是稀疏模型，部分连接。
• SVR原理同SVM，都是找一个超平面，区别是SVM找最大间隔，SVR找最小距离和。
• Hinge loss
  
  

调参：

23. KKT条件：
    对于具有等式和不等式约束的一般优化问题：
    $$\{\begin{array}{l}minf(x)最值问题\\ s.t.g_j(x)\le 0j=1,2,3,...,n不等式约束\\ h_k(x)=0k=1,2,....l等式约束\end{array}$$
    KKT条件给出了判断$x^{\ast }$是否为最优解的必要条件：
    $$\{\begin{array}{l}\frac{\partial f}{\partial x_i}+{\sum }_{j=1}^m{\mu }_j\frac{\partial g_j}{\partial x_i}+{\sum }_{k=1}^l{\lambda }_k\frac{\partial h_k}{\partial x_i}=0i=1,2,3,....,n\\ h_k(x)=0k=1,2,3,....,l\\ {\mu }_j{g}_j(x)=0j=1,2,3,...,n\\ {\mu }_j\ge 0\end{array}$$

• 等式约束优化问题，这一部分其实就是Langrange乘数法。
• 不等式约束优化问题：
  转化思想：将不等式约束条件转化为等式约束条件
  具体做法：引入松弛变量，松弛变量也是优化变量，求导时需要一起计算。
  可以参考：https://zhuanlan.zhihu.com/p/38163970

24. sklearn逻辑图