统计学习方法超详细笔记-第一章统计学习与监督学习概率

最新推荐文章于 2022-02-09 12:30:00 发布

xingS1992

最新推荐文章于 2022-02-09 12:30:00 发布

阅读量363

点赞数 1

分类专栏：统计学习方法文章标签：机器学习

本文链接：https://blog.csdn.net/shengxing_stu/article/details/109456886

版权

统计学习方法专栏收录该内容

12 篇文章 0 订阅

订阅专栏

1.1 统计学习

统计学习分为：监督学习、非监督学习、半监督学习及强化学习

统计学习

统计学习的统计学习方法如下：

从给定的、有限的、用于学习的训练数据集合出发
假设数据是独立同分布产生的
假设要学习的模型是属于某个函数的集合，成为假设空间
应用某个评价准则，从假设空间中选取一个最右的模型；这个模型使它对已知训练数据及未知测试数据在给定的评价准则下有最优的预测
最优模型的选取由算法实现

统计学习方法的步骤：

得到一个有限的训练数据集合；
确定包含所有可能的模型假设空间，即学习模型的集合；
确定模型选择的准则，即学习的策略；
实现求解最优模型的算法，即学习的算法；
通过学习方法选择最优模型；
利用学习的最优模型对新数据进行预测或者分析。

1.2 统计学习的分类

1.2.1 基本分类

统计学习或者机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。

1 监督学习

输入空间：将输入所有可能取值的集合成为输入空间

输出空间：将输出所有可能取值的集合成为输出空间，通常输出空间远远小于输入空间

特征空间：每个具体的输入是一个特例，通常由特征向量表示。这时，所有的特征向量存在的空间成为特征空间。特征空间的每一维对应于一个特征。

在本书中，向量均为列向量，输入示例x的特征向量，记作：

在这里插入图片描述

监督学习从训练数据集合汇总学习模型，对测试数据进行预测。训练数据由输入（或者特征空间）与输出对组成，训练集通常表示为

在这里插入图片描述

测试数据也由相应的输入与输出对组成。输入与输出对又称为样本或者样本点。

联合概率分布：监督学习假设输入与输出的随机变量x和y遵循联合概率分布P(X,Y)，P(X,Y)表示分布函数，或者分布密度函数。

假设空间：监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。
在这里插入图片描述

2. 无监督学习

无监督学习是指从无标注数据中学习预测模型的机器问题。无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。每个输出是对输入的分析结果，由输入的类别、转换或概率表达，例如聚类、降维或者概率估计。无监督学习的本质是学习数据中的统计规律或潜在结构。

3. 强化学习

强化学习是指只能系统在与环境的连续互动中学习最优行为策略的及其学习问题。假设智能系统与环境的互动基于马尔科夫决策过程，只能系统能观测到的是与环境互动得到的数据序列。强化学习的本质是学习最优的序贯决策。

强化学习过程中，系统不断地试错，以达到学习最优策略的目的。
在这里插入图片描述

在这里插入图片描述

4. 半监督学习与主动学习

     半监督学习是指利用标注数据和未标注数据学习预测模型的机器学习问题。通常有少量标注数据、大量未标注数据，因为标注数据的构建往往需要人工，成本较高，未标注数据的收集不需太多成本，

     主动学习是指及其不断主动给出实例让教师进修标注，然后用标注数据学习预测模型的机器学习问题。

     半监督学习和主动学习更接近监督学习。

1.2.2 按模型分类

1．概率模型与非概率模型

在这里插入图片描述

2. 线性模型与非线性模型

在这里插入图片描述

3.参数化模型与非参数化模型

在这里插入图片描述

1.2.3 按算法分类

在这里插入图片描述

1.2.4 按技巧分类

在这里插入图片描述

1.3 统计学习方法三要素

统计学习方法都是由模型、策略和算法构成的，即统计学习方法由三要素构成，可以简单地表示为：方法=模型+策略+算法

1.3.1 模型

     统计学习首要考虑的问题是学习什么样的模型。在监督学习中过程，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。

1.3.2 策略

     有了模型的假设空间，统计学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。统计学习的目标在于从假设空间中选取最优模型。

损失函数和风险函数

在这里插入图片描述

统计学习常用的损失函数有以下几种：

在这里插入图片描述

经验风险最小化与模型风险最小化

在这里插入图片描述

1.3.3 算法

在这里插入图片描述

1.4 模型评估与模型选择

1.4.1 训练误差与测试误差

在这里插入图片描述

训练误差的大小，对判断给定的问题是不是一个容易学习的问题是有意义的，但本质上不重要。测试误差反映了学习方法对未知的测试数据集的预测能力，是学习中的重要概念。显然，给定两种学习方法，测试误差小的方法具有更好的预测能力，是更有效的方法。通常将学习方法对未知数据的预测能力称为泛化能力。

1.4.2 过拟合与模型选择

在这里插入图片描述

1.5 正则化与交叉验证

1.5.1 正则化

在这里插入图片描述

1.5.2 交叉验证

在这里插入图片描述

1.6 泛化能力

1.6.1泛化误差

在这里插入图片描述

1.6.2 泛化误差上界

在这里插入图片描述

1.7 生成模型与判别模型

在这里插入图片描述

1.8 监督学习应用

     监督学习的应用主要在三个方面：分类问题、标注问题和回归问题。

     ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201102204521848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoZW5neGluZ19zdHU=,size_16,color_FFFFFF,t_70#pic_center)

在这里插入图片描述