周志华西瓜南瓜书学习（一）

模型评估

由于前两章内容比较熟悉，只简单总结一下公式

评估方法

1. 留出法

2. 交叉验证法
   

3. 自助法

性能度量

1.均方误差：
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
更一般的，
$$E(f;D)={\int }_{x\backsim D}(f(x_i)-y_i{)}^{2}p(x)dx$$

2. 错误率

$$E(f;D)=\frac{1}{m}\sum _{i=1}^m\prod (f(x_i)\ne y_i{)}^2$$

3. 精度

$$acc(f;D)=1-E(f;D)$$

4. 查准率和查全率
   

查准率：
$$P=\frac{TP}{TP+FP}$$
查全率：
$$R=\frac{TP}{TP+FN}$$

F1度量：
$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}$$

F1度量的一般形式：
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$

5. ROC和AUC曲线
   
   真正利率(True Positive Rate)
   $$TPR=\frac{TP}{TP+FN}$$
   假正利率（False Positive Rate)
   $$FPR=\frac{FP}{TN+FP}$$

$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1-x_i})(y_i+y_{i+1})=1-{\ell }_{rank}$$

线性模型

线性组合基本形式一般用向量表示：
$$f(x)=w^{T}x+b$$
w和b学得后，模型就得以确认。w可以直观的表示各属性在预测中的重要性。

线性回归

给定数据集
$$D=(x_1,y_1),(x_2,y_2),....(x_m,y_m)$$
，其中
$$x_i=(x_{i1};x_{i2};....;x_{id}),y_i\in \mathbb{R}$$
其中i是x在第i个属性上的取值。假设输入的属性数目只有一个，对于离散属性，若属性值间存在order，通过连续化将其转化成连续值，比如“高”“矮”转化为{1,0}；如果不存在order，假定有k个属性，则转化为k维向量，如“瓜”类取值“西瓜”，“南瓜”，“黄瓜”转化为1（0,0,1），（0,1,0），（1,0,0）。

线性回归试图学得
$$f(x_i)=w_i^{T}x+b，使得f(x_i)\eqsim y_i$$
如果我们试图让均方误差最小化，即可度量f(x)和y之间的差，此刻使用最小二乘法使样本到所找的直线上的欧氏距离之和最小。
$$（w^{\ast },b^{\ast })=\arg \underset{(w,b)}{\min }\sum _{i=1}^m(f(x_i)-y_i{)}^2=\arg \underset{(w,b)}{\min }\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

令
$$E_{w,b}=\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
分别对w,b求导，得出
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

多元线性回归

类似的，当有d个属性描述时，
$${\hat{w}}^{\ast }=\arg \underset{\hat{w}}{\min }(y-X\hat{w}{)}^T(y-X\hat{w})$$

$$令E\hat{w}=(y-X\hat{w}{)}^T(y-X\hat{w})，对\hat{w}求导：$$

$$\frac{\partial E\hat{w}}{\partial \hat{w}}=2X^T(X\hat{w}-y)$$

$$当X^{T}X为满秩矩阵时，令上式为0，得{\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$

$$令{\hat{x}}_i=(x_i,1)，则最终多元线性回归模型为：f({\hat{x}}_i)={\widehat{x_1}}^T(X^{T}X{)}^{-1}{X}^{T}y$$

对数几率回归

在二分类任务中，输出标记
$$
y\in { { 0,1 } }\

由此产生的z=W^Tx+b是实值，将z转换为0/1
$$
则设想理想的单位阶跃函数

$$y=\{\begin{array}{l}0,z<0\\ 0.5,z=0\\ 1,z>0\end{array}$$
若预测值z大于0为正例，依次类推。但是因为单位越阶函数不连续，我们寻找可替代的近似的对数几率函数
$$y=\frac{1}{1+e^{-z}}$$
代入并变化得：
$$\ln \frac{y}{1-y}=w^{T}x+b$$
将y视为后验概率估计，则改写为：
$$\ln \frac{（y=1|x)}{(y=0|x)}=w^{T}x+b$$
然后通过极大似然法等等连续计算。

线性判别分析

略

决策树

信息增益

信息熵是度量样本集合纯度最常用的指标。
$$\begin{gathered} 假定当前样本集合D中第K类样本所占的比例为p_k(k=1,2,...，|y|)，则D的信息熵比例为 \\ Ent(D)=-\sum _{k=1}^{|y|}{p}_k{\log }_2{p}_k \end{gathered}$$
Ent(D)的值越小，D的纯度越高。
假 设 离 散 属 性 a 有 V 个 可 能 取 值 { a 1 , a 2 , . . . , a v } ， 如 果 使 用 a 对 样 本 集 D 进 行 划 分 ， 会 产 生 V 个 分 支 节 点 。 其 中 第 v 个 分 支 节 点 包 含 了 D 中 所 有 在 属 性 a 上 取 值 为 a v 。 根 据 上 式 计 算 出 D v 的 信 息 熵 ， 再 考 虑 到 不 同 分 支 节 点 包 含 的 样 本 数 不 同 ， 给 此 分 支 节 点 赋 予 权 重 ∣ D v ∣ ∣ D ∣ ， 计 算 属 性 a 对 样 本 集 D 进 行 划 分 的 信 息 增 益 。 G a i n ( D , a ) = E n t ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) 假设离散属性a有V个可能取值{\{a^1,a^2,...,a^v\} }，如果使用a对样本集D进行划分，会产生V个分支节点。\\其中第v个分支节点包含了D中所有在属性a上取值为 a^v。根据上式计算出D^v的信息熵，再考虑到不同分支节点包\\含的样本数不同，给此分支节点赋予权重\frac{|D^v|}{|D|}，计算属性a对样本集D进行划分的信息增益。\\ Gain(D,a)=Ent(D)-\sum_{v=1}^V\frac{|D^v|}{|D|}Ent(D^v) 假设离散属性a有V个可能取值{a1,a2,...,av}，如果使用a对样本集D进行划分，会产生V个分支节点。其中第v个分支节点包含了D中所有在属性a上取值为av。根据上式计算出Dv的信息熵，再考虑到不同分支节点包含的样本数不同，给此分支节点赋予权重∣D∣∣Dv∣​，计算属性a对样本集D进行划分的信息增益。Gain(D,a)=Ent(D)−v=1∑V​∣D∣∣Dv∣​Ent(Dv)

$$最优划分属性：a_{\ast }=\arg \underset{a\in A}{\max }Gain(D,a)$$

信息增益越大，则使用属性a来划分所获得的的纯度提升越大。

增益率

信息增益对可取纸数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，可以使用增益率旋转最优划分属性。
$$\begin{gathered} Gain\_ratio(D,a)=\frac{Grain(D,a)}{IV(a)} \\ 其中IV(a)=-\sum _{v=1}^V\frac{|D^v|}{D}lo{g}_2\frac{|D^v|}{|D|} \end{gathered}$$

基尼系数

CART决策树使用基尼系数来选择划分属性。数据集D的纯度可用基尼值来度量：
$$Gini(D)=\sum _{k=1}^{|y|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=1-\sum _{k=1}^{|y|}{p_k}^2$$
Gini(D)反应从数据集D中随机抽取两个样本，类别标记不一致的概率，越小则数据集D的纯度越高。
$$基尼指数：Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{D}Gini(D^v)$$

$$最优划分属性a_{\ast }=\arg \underset{a\in A}{\min }Gini\_index(D,a)$$

剪枝、连续值及缺失值

剪枝处理

为防止过拟合，可以主动去掉一些分支，两种方法：预剪枝（每个节点划分前先估计，若不能带来泛化性提升，停止划分当前并标记为叶节点）和后剪枝（先从训练集生成完整决策树，然后自底向上判断非叶节点的子树替换为叶节点是否带来泛华性提升。

连续值

可以基于划分点t（如从小到大排列后相邻中位点）将D分为属性a上取值不大于t或者大于t的的样本。

神经网络

神经元模型

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经网络中最基本的成分是神经元模型，每个神经元和其他神经元相连，当它兴奋时向相邻的神经元发送化学物质以改变其电位，当某神经元电位超过一定阈值则其会被激活，接着向其他神经元发送化学物质。

M-P神经元模型：神经元接收到来自n个其他神经元传递过来的通过带权重的连接传递的输入信号，神经元将接收到的总收入值与神经元阈值进行比较，通过激活函数处理产生神经元输出。

理想的激活函数是阶跃函数，但是由于不连续不光滑，实际中一般用Sigmoid函数作为激活函数。

感知机和多层网络

感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。

一层功能神经元学习能力非常有限，而与，或，非问题都是线性可分的，如果要解决非线性问题，需考虑使用多功能神经元，比如输出层与输入层之间加拥有激活函数的隐含层。更一般的是多层前馈神经网络。

误差传播算法

$$\begin{gathered} 一个拥有d个输入神经元，l个输出神经元，q个隐层神经元的多层前馈网络神经结构， \\ 其中输出层第j个神经元的阈值用{\theta }_j表示， \\ 隐层第h个神经元的阈值用{\gamma }_h表示 \\ 输入层第i个神经元与隐层第h个神经元之间的连接权为v_{ih} \end{gathered}$$ $$\begin{gathered} 输出层第i个神经元与隐层第h个神经元之间的连接权为w_{hj} \\ 隐层第h个神经元接收到的输入为{\alpha }_h=\sum _{i=1}^d{v}_{ih}{x}_i \\ 输出层第j个神经元接收到的输入为\beta =\sum _{h=1}^q{w}_{hj}{b}_h \\ 假设隐层和输出层神经元都用Sigmoid函数 \\ 训练例(x_k,y_k)，假定神经网络输出为{\hat{y}}_k=(\widehat{y_1^k},\widehat{y_2^k},...,\widehat{y_l^k}) \\ 有{\hat{y}}_j^k=f({\beta }_j-{\theta }_j) \\ 网络在（x_k,y_k）上的均方差为E_k=\frac{1}{2}\sum _{j=1}^l(\widehat{y_1^k}-y_j^k{)}^2 \end{gathered}$$

证明：略