关系推理论文中总提到的inductive bias该如何理解

周志华《机器学习》对inductive bias定义如下:

机器学习算法在学习过程中对某种假设(hypothesis)的偏好,称为“归纳偏好”(inductive bias),或简称为“偏好”

书中举了例子,例如对一组数据进行拟合的曲线有无数种,其中有的比较“简单”(假设我们认为曲线更平滑意味着“更简单”),有的更复杂。例如一组可以用二次曲线来拟合的数据点,用更复杂的更高阶的曲线也可以拟合,那我们的模型应该选择哪条曲线/假设呢?这就是模型对假设的偏好问题。

在知乎一篇文章中又看到一个解释,也可以参考一下:

所谓的inductive bias,指的是人类对世界的先验知识,对应在网络中就是网络结构

再举个论文中的例子,在《Recurrent Relational Networks》 一文中,网络结构如下图所示(具体训练过程见原文解释):

在这里插入图片描述论文将该模型的inductive bias总结为:

This paper introduces a composite function, the recurrent relational network. It serves as a modular component for many-step relational reasoning in end-to-end differentiable learning systems. It encodes the inductive biases that

  1. objects exists in the world
  2. they can be sufficiently described by properties
  3. properties can change over time
  4. objects can affect each other and
  5. given the properties, the effects object have on each other is invariant to time.
  • 6
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值