期中通宵两宿续命模式开启

期中通宵两宿续命模式开启

决策树

线性回归

最小二乘法直接解出系数

没有常数项

$$\hat{w}=\frac{x^{T}y}{||x|{|}_2^2}$$

有常数项

一元
$$\hat{w}=\frac{(x-\bar{x}\cdot 1{)}^T(y-\bar{y}\cdot 1)}{||x-\bar{x}\cdot 1|{|}_2^2}$$
$$\hat{b}=\bar{y}-\hat{w}\bar{x}$$
多元
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$$

还有正则化的方法==（记得补充呀）==

逻辑回归——分类任务

机器学习算法与Python实践之（七）逻辑回归（Logistic Regression）
将线性回归预测值与分类任务的真实标记联系起来——所以需要一个单调可微的函数（可微是便于求导找到最优解）所以找到了对数几率函数——Sigmoid函数
$$y=f(x)=\frac{1}{1+e^{-(w^{T}x+b)}}$$
这里的y表示的是将样本分类到正例的概率，用极大似然法进行估计（将w加一维多加个常数项，x取1）
用梯度下降得到递归公式（初始值设置为全是1的向量）
$${\theta }^{t+1}={\theta }^t-\alpha \frac{\partial L(\theta )}{\partial \theta }={\theta }^t-\alpha \sum _{i=1}^n(y_i-\sigma ({\theta }^T{x}_i))x_i$$
需要自己设置步长和最大迭代次数
也可以用牛顿迭代法
$${\beta }^{t+1}={\beta }^t-(\frac{{\partial }^{2}l(\beta )}{\partial \beta \partial {\beta }^T}{)}^{-1}\frac{\partial l(\beta )}{\partial \beta }$$
$$\frac{\partial l(\beta )}{\partial \beta }=-\sum _{i=1}^m\widehat{x_i}(y_i-p_1(\widehat{x_i};\beta ))$$
$$\frac{{\partial }^{2}l(\beta )}{\partial \beta \partial {\beta }^T}=\sum _{i=1}^m\widehat{x_i}{\widehat{x_i}}^T{p}_1(\widehat{x_i};\beta )(1-p_1(\widehat{x_i};\beta ))$$
这里二阶导是步长，一阶导是方向

线性判别 LDA

思想：找到一条线，样本点在上面投影，同类靠近，异类远离
目标函数：
$$J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$$
求得
$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$
其中${\mu }_0$和${\mu }_1$是各类的向量均值，$S_w$是类内散度矩阵
$$S_w={\Sigma }_0+{\Sigma }_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$

ROC曲线