【李航统计学笔记】Chap1:统计学习及监督学习概论

统计学笔记 专栏收录该内容
3 篇文章 0 订阅

Chap1 都是些初步的概念,后续都有详细展开,在这里只对部分内容进行记录。

1 统计学习分类

1.1 基本分类

1.1.1 监督学习与无监督学习

pass

1.1.2 强化学习

在这里插入图片描述
在这里插入图片描述

1.1.3 半监督学习与主动学习

  • 半监督学习(semi-supervised learning):利用标注数据(少量)和未标注数据(大量)学习预测模型。利用未标注数据中的信息,辅助标注数据,进行监督学习,成本较低。
  • 主动学习(active learning):机器不断主动给出实例让人进行标注,然后利用标注数据学习预测模型。以较小的标注代价,达到较好的学习效果。

1.2 按算法分类

1.2.1 在线学习

  • 在线学习(online learning):每次接受一个样本,进行预测,之后学习模型,并不断重复该操作。
  • 比批量学习难,每次模型更新中可用的数据有限难学到预测准确率更高的模型
  • 适用场景:1)数据依次达到,无法存储,系统需及时处理。2)数据量很大,不能一次处理所有数据。3)数据的模式随时间动态变化,需要算法快速适应新模式。

1.2.2 批量学习

  • 批量学习(batch learning):一次接受所有数据,学习模型,之后进行预测

1.3 按模型分类

1.3.1 概率模型与非概率模型

  • 概率模型(probabilistic model):监督学习取条件概率分布形式P(y|x),是生成模型;无监督学习取条件概率分布形式P(z|x)或P(x|z)。

    决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型

  • 非概率模型(non-probabilistic model)/确定性模型(deterministic model):监督学习取函数形式y = f(x),是判别模型;无监督学习取函数形式z = g(x)

    感知机、支持向量机、k近邻、AdaBoost、k均值、潜在语义分析、神经网络

1.3.2 线性模型与非线性模型

pass

1.3.3 参数化模型与非参数化模型

  • 参数化模型(parametric model):假设模型参数的维度固定,模型可以由有限维参数完全刻画。(适合问题简单的情况)
  • 非参数化模型(non-parametric model):假设模型参数的维度不固定或无穷大,随着训练数据量的增加而增大。(适合复杂问题,现实中常用)

2 各种概率与贝叶斯公式

看到一个信号发射的例子,感觉讲的非常好,终于理解了这一系列的概念。

2.1 问题描述

在这里插入图片描述
问题描述:
一个信号的发射端只发射A、B两种信号,其中发射信号A的概率为0.6,B概率为0.4。当发射信号A时,接收端接收到信号A的概率是0.9,接收到信号B的概率是0.1。当发射信号B时,接收端接收到信号B的概率为0.8,接收到信号A的概率为0.2。求当接收到信号A时,发射信号为A的概率。

发射信号为A的概率: P ( s e n d A ) = 0.6 P(sendA)=0.6 P(sendA)=0.6
发射信号为B的概率: P ( s e n d B ) = 0.4 P(sendB)=0.4 P(sendB)=0.4

发射信号A时,接收到信号A的概率: P ( r e c e i v e A ∣ s e n d A ) = 0.9 P(receiveA|sendA)=0.9 P(receiveAsendA)=0.9
发射信号A时,接收到信号B的概率: P ( r e c e i v e B ∣ s e n d A ) = 0.1 P(receiveB|sendA)=0.1 P(receiveBsendA)=0.1

发射信号B时,接收到信号B的概率: P ( r e c e i v e A ∣ s e n d B ) = 0.2 P(receiveA|sendB)=0.2 P(receiveAsendB)=0.2
发射信号B时,接收到信号A的概率: P ( r e c e i v e B ∣ s e n d B ) = 0.8 P(receiveB|sendB)=0.8 P(receiveBsendB)=0.8

接收到信号A时,发射信号为A的概率: P ( r e c e i v e A ∣ s e n d A ) = 0.8 P(receiveA|sendA)=0.8 P(receiveAsendA)=0.8

2.2 条件概率

  • 当条件B成立时,事件A发生的概率
    上面那些都是条件概率,当send条件成立,求receive的概率

    P ( A ∣ B ) = P ( A B ) P ( B ) = P ( A ∩ B ) P ( B ) P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(A\cap B)}{P(B)} P(AB)=P(B)P(AB)=P(B)P(AB)

2.3 先验概率

  • 发射信号的概率都为先验概率,通过观测或者经验得到的 P ( s e n d A ) , P ( s e n d B ) P(sendA),P(sendB) P(sendA),P(sendB)都成为先验概率

2.4 后验概率

  • 知道“结果”后去推断“原因”发生的概率,在例子中相当于已知接收到的信号,求发射信号的概率。
    P ( s e n d A ∣ r e c e i v e A ) = P ( s e n d A ∩ r e c e i v e A ) P ( r e c e i v e A ) = P ( r e c e i v e A ∣ s e n d A ) P ( s e n d A ) P ( r e c e i v e A ) P(sendA|receiveA)=\frac{P(sendA\cap receiveA)}{P(receiveA)}=\frac{P(receiveA|sendA)P(sendA)}{P(receiveA)} P(sendAreceiveA)=P(receiveA)P(sendAreceiveA)=P(receiveA)P(receiveAsendA)P(sendA)

2.5 全概率公式

P ( B ) = ∑ i n P ( A i ) P ( B ∣ A i ) ) P(B)=\sum\limits_{i}^{n}P(A_{i})P(B|A_{i})) P(B)=inP(Ai)P(BAi))
可认为事件 A i A_{i} Ai是对全概率“1”的一个划分。
所以呢~可以理解为,接收到一个信号为A的概率=发射信号A且发射信号A时接收到信号A+发射信号B且发射信号B时接收到信号A。
P ( r e c e i v e A ) = P ( s e n d A ) P ( r e c e i v e A ∣ s e n d A ) + P ( s e n d B ) P ( r e c e i v e A ∣ s e n d B ) P(receiveA)=P(sendA)P(receiveA|sendA)+P(sendB)P(receiveA|sendB) P(receiveA)=P(sendA)P(receiveAsendA)+P(sendB)P(receiveAsendB)

2.6 贝叶斯公式

和全概率公式大致一样,件 A i A_{i} Ai是对全概率“1”的一个划分,常用于求解后验概率
P ( A i ∣ B ) = P ( A i ) P ( B ∣ A i ) ∑ k n P ( A k ) P ( B ∣ A k ) P(A_{i}|B)=\frac{P(A_{i})P(B|A_{i})}{\sum\limits_{k}^{n}P(A_{k})P(B|A_{k})} P(AiB)=knP(Ak)P(BAk)P(Ai)P(BAi)

贝叶斯公式的特点就是能够通过先验概率和条件概率求后验概率,就还挺常用

2020.09.07
TBC

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:深蓝海洋 设计师:CSDN官方博客 返回首页

打赏作者

baekii

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值