假设空间 机器学习

        归纳(induction):从特殊到一般的“泛化”(generalization)过程,即从具体的事实归结出一般性规律;

        演绎(deduction):从一般到特殊的“特化”(specialization)过程,即从基础原理推演出具体状况.例如,在数学公理系统中,基于一组公理和推理规则推导出与之 相洽的定理,这是演绎;

        而 “从样例中学习”显然是一个归纳的过程,因此亦称 “归纳学习 ”(inductive learning).

        广义的归纳学习大体相当于从样例中学习,

        狭义的归纳学习则要求从训练数据中学得概念(concept),因此亦称为“概念学习 ”或 “概念形成”.

        概念学习技术目前研究、应用都比较少,因为要学得 泛化性能好且语义明确的概念实在太困难了,现实常用的技术大多是产生“黑 箱”模型.然而,对概念学习有所了解,有助于理解机器学习的一些基础思想.

        概念学习中最基本的是布尔概念学习,即 对 “是” “不是”这样的可表示 为 0/1布尔值的目标概念的学习.举一个简单的例子,假定我们获得了这样一 个训练数据集:

         这里要学习的目标是“好瓜”.暂 且 假 设 “好瓜”可 由 “色泽” “根蒂” “敲声”这三个因素完全确定,换言之,只要某个瓜的这三个属性取值明确了, 我们就能判断出它是不是好瓜.于是,我们学得的将是“好瓜是某种色泽、某 种根蒂、某种敲声的瓜”这样的概念,用布尔表达式写出来则是“好 瓜 分(色 电了呼常会普 泽=?) A (根蒂=?) A (敲声= ? ) " ,这 里 表 示 尚 未 确 定 的 取 值 ,而 我 们 的 任 合范或 务就是通过对表1.1的训练集进行学习,把 确 定 下 来 .

        读者可能马上发现,表 1.1第一行: “(色泽二青绿)A (根蒂=蜷缩)A (敲 声=浊响)”不就是好瓜吗?是的,但这是一个已见过的瓜,别忘了我们学习的 目的是“泛化”,即通过对训练集中瓜的学习以获得对没见过的瓜进行判断的能力.如果仅仅把训练集中的瓜“记住”,今后再见到一模一样的瓜当然可判 断,但是,对没见过的瓜,例如“(色泽=浅白)A (根蒂= 蜷缩)A (敲声= 浊响)” 怎么办呢?

        我们可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行 搜索的过程,搜索目标是找到与训练集“匹配”(班)的假设,即能够将训练集中 的瓜判断正确的假设.假设的表示一旦确定,假设空间及其规模大小就确定了. 这里我们的假设空间由形如“(色泽= ?)A (根蒂= ?)A (敲声= ?)" 的可能取值 所形成的假设组成.例如色泽有“青绿” “乌黑” “浅白”这三种可能取值; 还需考虑到,也 许 “色泽”无论取什么值都合适,我 们 用 通 配 符 来 表 示 , 例 如 “好 瓜 》 (色泽= *)A (根蒂= 蜷缩)A (敲声= 浊响)”,即 “好瓜是根蒂蜷 缩、敲声浊响的瓜,什么色泽都行”. 此外,还需考虑极端情况:有 可 能 “好 瓜”这个概念根本就不成立,世界上没有“好瓜”这种东西;我们用0 表示这 个假设.这样,若 “色泽” “根蒂” “敲声”分别有3、2、2 种可能取值,则我 们面临的假设空间规模大小为4 x 3 x 3 + 1 = 37. 图 1.1直观地显示出了这个 西瓜问题假设空间.

        

         可以有许多策略对这个假设空间进行搜索,例如自顶向下、从一般到特殊, 或是自底向上、从特殊到一般,搜索过程中可以不断删除与正例不一致的假 设、和(或)与反例一致的假设.最终将会获得与训练集一致(即对所有训练样本 能够进行正确判断)的假设,这就是我们学得的结果.

        需注意的是,现实问题中我们常面临很大的假设空间,但学习过程是基于 有限样本训练集进行的,因此,可能有多个假设与训练集一致,即存在着一个与 训练集一致的“假设集合”,我们称之为“版本空间”(version space). 例如, 在西瓜问题中,与 表 1.1训练集所对应的版本空间如图1.2所示。

 

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
变形空间表示定理是机器学习中的一个重要定理,它可以用来表示输入数据的变形空间。这个定理的证明比较复杂,需要涉及到一些数学知识和推导过程。 假设我们有一个输入数据集合X={x1,x2,…,xn},其中每个数据点xi是一个向量,表示为xi=(xi1,xi2,…,xim),其中m是数据点的维度。我们希望找到一个表示这个数据集合变形空间的矩阵A,使得每个数据点在这个空间中的表示为 yi=Ax i 其中yi是xi在变形空间中的表示。我们可以通过最小化误差来确定A的值,即 minimize ||X−AY||2F 其中||⋅||F表示矩阵的Frobenius范数,即所有元素的平方和的平方根。这个问题可以通过求解下面的矩阵方程来得到A的解: A=(XTX)−1XTY 其中XT是X的转置矩阵,Y是所有数据点在变形空间中的表示组成的矩阵。 为了证明变形空间表示定理,我们需要证明以下两个命题: 命题1:若矩阵A满足y=Ax,则A是唯一的。 命题2:给定任意一个矩阵A,满足y=Ax,那么A是可以通过最小化误差来确定的。 对于命题1,我们可以采用反证法来证明。假设存在另一个矩阵B,满足y=Bx,且B≠A。那么有 ||X−ABT||2F<||X−AAT||2F 这意味着A不是最小化误差的唯一解,与假设矛盾,因此命题1成立。 对于命题2,我们可以证明最小化误差的解是唯一的,并且可以通过求解矩阵方程来得到。首先,我们可以将误差函数对A求导,得到 ∂||X−AY||2F/∂A=2(XTAX−XTY) 令导数等于0,可以得到A的最小二乘解 A=(XTX)−1XTY 因此,命题2成立。 综上所述,我们证明了变形空间表示定理的两个命题,即矩阵A是唯一的,并且可以通过最小化误差来确定。这个定理为机器学习中的许多算法提供了基础,例如主成分分析(PCA)、线性判别分析(LDA)等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫Ycg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值