【招商银行面试】

Dropout, Batch Normalization 是怎样防止过拟合的？

有没有关注一些顶会？关注一些最新的科技动态？

有没有了解其他现在比较新的机器学习结构？

有没有合作的经验？

考虑实习的时候的合作经验，以及做项目七八个人的合作经验。

Numpy做矩阵相乘？

np.dot()

np.multiply()

链表和数组的区别？

https://www.jianshu.com/p/5233f2a2d523

读过哪些技术书籍？有没有印象深刻的地方？

还投了哪些公司？

有没有什么要问的？

拓展:

为什么要进行归一化？

我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。

对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。

就是要解决在训练过程中，中间层数据分布发生改变的情况，于是就有了Batch  Normalization

导致overfit的位置往往在数据边界处，如果初始化权重就已经落在数据内部，overfit现象就可以得到一定的缓解。

在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。

那BN到底是什么原理呢？说到底还是为了防止“梯度弥散”。

对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。