inductive bias理解

• 写在前面
  写这个博文只是记录我现在想的，如果你好奇归纳偏置到底偏置的什么，你可以尝试去搜搜“卷积不变性”能解决你的疑惑。我接下来写的就不必看了……

神经网络中有很多稀奇古怪的词，让人不能通过字面意思知道其内涵。
弯弯绕绕，思考一番，不禁感叹竟原来如此。

初读Vision Transformer时，文中提到CNN 具有天然的inductive bias。让人不解。

哈哈～归纳，我懂；偏置，我亦懂。归纳偏置 what 玩意儿？（脑补黑人问号脸）

有问题就会有答案
我打开了知乎……

即使这个问题下最高赞的回答说得很清楚。但我也没悟。直到我看到某知乎用户的回答：

在卷积神经网络中，我们假设特征具有局部性的特性，即当我们把相邻的一些特征放在一起，会更容易得到“解”。
“普遍存在的刻板印象就是归置偏纳。” 说得好！
这位老哥总结的更有层次！