深度学习中的归纳性偏好

介绍

学习的方法会对学习的问题做一些关于目标函数的必要假设，称为归纳偏置。
西瓜书解释：机器学习算法在学习过程中对某种类型假设的偏好，称为归纳性偏好。归纳性偏好可以看作是学习算法自身在一个庞大的假设空间中对假设进行选择的启发式价值观。
深度神经网络偏好的认为层次化处理信息有更好的效果。网络越深效果越好。

1.CNN inductive bias

局部性(Locality)和空间不变性(Spatial Invariance)

2. RNN inductive bias

序列性(Sequentiality)和时间不变性(Time Invariance)

3. GNN inductive bias

中心节点和周围节点更容易进行信息交流

4.Attention bias

基于人的直觉和生活经验得到的归纳规则，如self-attention中的QKV,
Q代表查询，K代表关键的信息。