【面经&八股】搜广推方向：常见面试题（六）

【面经&八股】搜广推方向：常见面试题（六）

1. Memorization 和 Generalization

Google 的 Wide&Deep 论文中，通篇都是这两个词。

• 这个是从人类的认知学习过程中演化来的。人类的大脑很复杂，它可以记忆 (memorize) 下每天发生的事情（麻雀可以飞，鸽子可以飞）然后泛化 (generalize) 这些知识到之前没有看到过的东西（有翅膀的动物都能飞）。
• 但是泛化的规则有时候不是特别的准，有时候会出错（有翅膀的动物都能飞吗）。那怎么办那，没关系，记忆 (memorization) 可以修正泛化的规则 (generalized rules)，叫做特例（企鹅有翅膀，但是不能飞）。
• 以上就是 Memorization 和 Generalization 的来由或者说含义。
• 而 Wide&Deep Mode 就是希望计算机可以像人脑一样，可以同时发挥 memorization 和 generalization 的作用。

2. Wide 和 Deep

• Wide 也是一种特殊的神经网络，他的输入直接和输出相连。属于广义线性模型的范畴。
• Deep 就是指 Deep Neural Network，这个很好理解。
• Wide Linear Model 用于 memorization；
• Deep Neural Network 用于 generalization。