1.2 基本分类

2022.8.26 李航老师《统计学习方法》： 一. 统计学习及监督学习概论

本文目的就是为学者简化学习内容，提取我认为的重点 把书读薄

一. 统计学习及监督学习概论

1.2 基本分类

• 习惯上，输入集合用 $X$, 输出用 $Y$；

    【老羊理解】
    
    我们可以看成函数 x -> y
  

• $T=\{(x_1,y_1),(x_2,y_2),(x_3,y_3)...(x_{100},y_{100})\}$

    训练数据 我们好比通过100人 来判断是好人坏人，y就是输出
  

• $x^{(i)}$表示$x$的第i个特征；
  $$x=(x^{(1)},x^{(2)},...,x^{(i)},...,x^{(n)}{)}^T$$

    好比来描述一个人：身高 体重 学历...那么可以分别代表人的第一个特征、第二个特征、第三个特征...
  

• $x^{(i)}$ 与 $x_i$ 不同， $x_i$ 表示多个输入变量中的第i个变量，即示例中第几个样本（人），如第i个人$x_i$

$$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(i)},...,x_i^{(n)}{)}^T$$

…1 基本分类

统计学习或机器学习一般包括监督学习、无监督学习、强化学习，有时还包括半监督学习，主动学习。

…1.1 监督学习

监督学习（supervised learning）是指从标注数据中学习预测模型的机器学习问题

标注数据, 也就是训练数据x 都有标记，即y

• 训练集

$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

• 模型

  （1）监督学习的模型可以是概率模型 $P(Y|X)$ 或非概率模型决策函数 $Y=f(X)$；

  （2）图中模型： $\hat{P}(y|x),y=\hat{f}(x)$ 这种有帽子的是我们训练的模型估算出来的结果；

   【老羊理解】
  
   就是有两种呈现模式了：
   一种是以概率形式存在的，好比x=3 的前提下，y=1的概率是0.2  y=0条件下 是0.7 其余条件是0.1
   第二种是函数形式（非概率）存在 y=f(3)=1
  

• 预测系统

  （1）在预测过程中，预测系统对于给定的测试样本集中的输入 $x_{N+1}$, 由模型 $y_{N+1}=\underset{y}{\mathrm{argmax}}\hat{P}(y|x_{N+1})或y_{N+1}=\hat{f}(x_{N+1})$给出相应的输出$y_{N+1}$。

  （2）其中， $y_{N+1}=\underset{y}{\mathrm{argmax}}\hat{P}(y|x_{N+1})$ 这个意思就是在$x_{N+1}$输入前提下，输出最大概率的y类别

  【老羊理解】
  
  数据`x=3`,属于`0`类的概率为`0.8`；属于`1`类的概率为`0.2`；所以数据`x=3`属于`y=0`类
  

…1.2 无监督学习

无标注的数据中学习预测模型的机器学习问题；

• 训练集

无监督学习通常使用大量的 无标注(没有y了) 数据学习或训练，每一个样本是一个实例。训练数据表示为
U = { x 1 , x 2 , . . . , x N } U=\lbrace x_1,x_2,...,x_N\rbrace U={x1​,x2​,...,xN​}
其中$x_i,i=1,2,...N$,是样本

• 模型

  （1）每个输出是对输入的分析结果，由输入的类别、转换和概率表示。模型可以实现对数据的聚类、降维或概率估计；

  （2）图中类似： $\hat{P}(y|x),y=\hat{f}(x)$ 这种有帽子的是通过我们训练的模型估算出来的结果；

  （3）模型有，决策函数 $Y=g(X)$、条件概率分布 $P(Z|X)$、概率模型估计$P(X|Z)$；

  …1.2.1 聚类

  发现数据集$X$中的 纵向结构，输入空间是$X$,输出空间为类别集合 Z = { 1 ， 2 ， . . . ， k } Z = \lbrace1，2，...，k\rbrace Z={1，2，...，k}

  模型有，决策函数 $Y=g(X)$（硬聚类）、条件概率分布 $P(Z|X)$（软聚类）；

  • 硬聚类$Y=g(X)$：一个样本只属于一个类；
  • 软聚类 $P(Z|X)$：一个样本可以属于多个类，成为A类比如0.2 B类是0.7…

• 输入数据

  训练数据$X$定义:N个数据，每个数据有M维特征，所以输入矩阵如下：

$${\left[\begin{array}{cccccc}{x}_1^{(1)}& x_2^{(1)}& ...& x_i^{(1)}& ...& x_N^{(1)}\\ x_1^{(2)}& x_2^{(2)}& ...& x_i^{(2)}& ...& x_N^{(2)}\\ ...& ...& ...& ...& ...& ...\\ x_1^{(j)}& x_2^{(j)}& ...& x_i^{(j)}& ...& x_N^{(j)}\\ ...& ...& ...& ...& ...& ...\\ x_1^{(M)}& x_2^{(M)}& ...& x_i^{(M)}& ...& x_N^{(M)}\end{array}\right]}_{MN}$$

• 聚类的理解:

  我们现在有N个数据，如果每个数据一类，那么可以分N类，但现实中往往只是分Z类，Z << N,即聚类了
  如图所示，每个数据的M维特征没有丢失，但最后输出，类别少了是Z
  

…1.2.2 降维

• 数据的横向结构；

• 模型$Y=g(X)$，g可以是线性的，也可以是非线性的

• 降维的理解:

  我们每个数据有M维特征，但有的特征我们没有用，我们把特征减少到Z维,Z < M来降低数据的计算量。

  

…1.2.3 概率模型估计$P(X|Z)$

• 训练数据由一个概率模型生成，由训练数据学习模型的结构和参数

• 其中x表示观测数据，可以是连续变量也可以是离散变量；

• z表示隐式结构，是离散变量；当模型是混合模型时，z表示成分的个数，当模型是概率图模型时，z表示图的结构；

    我也不是太理解 听说第二章讲的就是这个 到时候看看
  

…2.3 强化学习

是指智能系统在环境的连续互动中学习最优行为策略的机器学习问题。

在每一步t，观察一个状态（state）St与一个奖励（reward）rt,采取一个动作（action）at.

环境根据智能系统选择的动作，决定下一步t+1的状态 $S_{t+1}$,奖励 $r_{t+1}$,动作 $a_{t+1}$

策略就是长期积累的奖励最大化。 强化学习过程中，系统不断地试错，最终达到最优策略的目的。

…2.3.1 条件

马尔科夫过程：是随机过程的经典代表。这种随机过程为随着时间进行演化的一组随机变量进行建模，假设系统在当前时刻的状态值至于上一时刻的状态值有关，与更早的时刻无关。

…2.3.2 五元组

$$<S,A,P,r,\gamma >$$

• S 是有限状态（state）的集合；

• A 是有限动作（action）的集合；

• P 事状态转移概率函数：$P(s^{\prime }|s,a)=P(s_{t+1}=s^{\prime }|s_t=s,a_t=a)$:就是t+1时刻的状态s'只与当前状态和动作有关

• $r$ 奖励函数（reward function）$r(s,a)=E(r_{t+1}|s_t=s,a_t=a)$:就是当前状态和动作下，下一步奖励的期望。

    【老羊理解，有错请指正】
  
    - 我理解就是比如挖矿，当前位置是`A`,动作a我选向下，r(s,a)就是当前位置我往下走这个动作来到`B`，他有很多种收益情况{上，下，左，右}；
    - 
    - 我们看这个A->B 动作的收益，就是求落到B处，多种收益均值的期望
  

  

• $\gamma$ 衰减系数（discount factor)：范围0~1，就是来 衰减 用的

…2.3.3 另两个公式的理解

（1） 价值函数 (value function)或者状态价值函数(state value function): 定义为策略$\pi$从某一个状态s 开始的长期积累奖励的数学期望：

$$v_{\pi }(s)=E_{\pi }[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...|s_t=s]$$

• 策略 $\pi$ 定义为 ：给定状态下动作函数$a=f(s)$ 或者条件概率$P(a|s)$。

    【老羊理解，有错请指正】
  
    比我们从A点找宝藏，有N条路(图中给了3条)	
  

  

  我们从A点出发，往宝藏走。t+1是向下动作 或有一定概率是向下的动作 （1） 和 （6），那么t+2 就是（2）和（7）

  • 因为公式有$\gamma$,所以越后面的步骤，对A点的价值越低;
  • A点价值就是从A点这个状态出发，之后发生所有一系列动作产生的期望;

（2） 动作价值函数 (action value function)定义为: 策略$\pi$的从某一个状态 s 和动作 a 开始长期的累计奖励的数学期望。

$$q_{\pi }(s,a)=E_{\pi }[r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+...|s_t=s,a_t=a]$$

【老羊理解，有错请指正】

我理解就是A已经明确这个 **第一步动作是向右走（11）**，之后怎么走有很多走法，那么这个动作的价值 就是后面所有情况产生的价值期望

…4 按技巧分类

…4.1 贝叶斯与最大似然估计

（1） 贝叶斯公式

$$P(Y_i|X)=\frac{P(Y_i,X)}{P(X)}=\frac{P(Y_i)P(X|Y_i)}{{\sum }_{j=1}^{n}P(Y_j)P(X|Y_j)}$$

理解：https://zhuanlan.zhihu.com/p/558329882

• 先验概率、

  就是知道模型，也就是模型一些参数都知道，能把模型确定下来。
  好比知道是正态分布，又知道参数$\mu ,\sigma$，然后得到的概率。

    好比：经大数据统计，知道中国男人身高符合正态分布，那么我求一个男人170cm身高的概率，就是先验概率。
  

• 后验概率
  某数据下模型的条件概率，也就是先知道数据 不知道模型啥样的的概率

    好比：我抽了10000个中国成年男性测量身高，那么170cm身高在数剧里占到了20%，那么这个概率就是后验概率。
  

（2）最大似然估计和贝叶斯估计关系

两者思想上有很大不同，代表两个流派。但也能把两者简单的联系起来。

• 贝叶斯估计中的先验概率，也就是知道了整个分布函数。那个概率最大值时的$\theta$,就是最大似然估计的取值
• 最大似然估计的想法就是 我算出来 去网吧可能男生概率为0.9 女生概率为0.1 那么我就认为是男生。

…4.2 核方法

就是通过核函数公式$K(x_1,x_2)$升维度，让原来二维不能线性分类的数据可线性分类

参考

https://zhuanlan.zhihu.com/p/94614824
https://www.bilibili.com/video/BV1W7411N7Ag?p=4&share_source=copy_web&vd_source=54e0bc84c4ff2601c8e3d9cfa3f1422c