人工智能、深度学习、机器学习常见面试题71~82

目录

71. 广义线性模型是怎被应用在深度学习中？

72. 如何解决梯度消失和梯度膨胀？

73. 简述神经网络的发展历史。

74. 深度学习常用方法。

75. 请简述过拟合还是激活函数？的发展史。

76. 神经网络中激活函数的真正意义？一个激活函数需要具有哪些必要的属性？还有哪些属性是好的属性但不必要的？

77. 梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？

78. 为什么很多做人脸的Paper会最后加入一个Local Connected Conv？

79. 什么是梯度爆炸？

80. 梯度爆炸会引发什么问题？

81. 如何确定是否出现梯度爆炸？

82. 如何修复梯度爆炸问题？

---

71. 广义线性模型是怎被应用在深度学习中？

    A Statistical View of Deep Learning (I): Recursive GLMs

    深度学习从统计学角度，可以看做递归的广义线性模型。

    广义线性模型相对于经典的线性模型(y=wx+b)，核心在于引入了连接函数g(.)，形式变为：y=g−1(wx+b)。

    深度学习时递归的广义线性模型，神经元的激活函数，即为广义线性模型的链接函数。逻辑回归（广义线性模型的一种）的Logistic函数即为神经元激活函数中的Sigmoid函数，很多类似的方法在统计学和神经网络中的名称不一样，容易引起初学者的困惑。