wide&deep模型的认知(未完结)

wide&deep模型：深度加宽度的模型范式，本身并不是一个具体的模型，wide和deep部分可以用任意结构框架，wide的baseline是LR模型，deep的baseline是MLP模型(MLP指多层感知器，是一种签祥结构的人工沉静网络，映射一组输入向量到一组输出向量)
面试时会问这种不起眼的问题：
1、wide&deep模型是谁提出来的？那一年提出来的？你在哪知道这个模型的？
回答：wide&deep是由谷歌16年6月左右提出来的，
2、wide&deep中感觉wide时多余的，可以去掉吗？
回答：先带着这个问题往下面继续看吧！！！！！
wide&deep中谷歌提出两个概念：记忆性和泛化性
举例：人们的大脑很复杂，但是大脑可以记忆每天发生的事情(燕子会风，老鹰会风)然后泛化这些知识到之前没有看到过的东西上(得出结论：有翅膀的动物多能飞)
但是，泛化的规则有时候不是特别的准，有时候会出错(有翅膀的动物都能飞吗)
这时候由于泛化的出错，最终泛化的结果不准，但是记忆可以修改泛化的规则，
把(企鹅有翅膀但是不会飞，称为特例)，两者结合保证最后的输出结果近似的正确。
听完这段文字，应该就懂为什么不能去掉wide端了吧。
wide—记忆性：wide部分常处于学习样本的高频部分，
优点是模型的记忆性好，对于样本中出现过的高频低阶特征能够用少量参数学习，
缺点：模型的泛化能力差，
例如：对于没有见过的ID类特征，模型学习能力较差。
deep—泛化性：deep部分常处于学习样本的长尾部分(长尾部分–名词解析：俗话讲，每次赚的很少，但是我每天可干的次数很多)

优点是泛化能力强，对于少量出现过的样本甚至没有出现过的样本都能做出预测(非零embedding向量)，容易带来惊喜，缺点是模型对于低阶特征的学习需要较多参数才能等同wide部分效果，而且泛化能力强，某种程度上也可能导致过拟合出现，尤其是对于冷启动的一些item，也有可能给用户带来惊吓。

俗话说：wide&deep模型就跟千里眼顺风耳成为一个人的技能。
wide模型使用FTRL加L1正则化来优化，
deep模型使用AdaGrad来优化