1. 列举常见的一些范数及其应用场景,如 L0,L1,L2,L∞,Frobenius 范数
答:
2. 简单介绍一下贝叶斯概率与频率派概率,以及在统计中对于真实参数的假设。
答:https://blog.csdn.net/nbw_gx/article/details/77937712
3. 概率密度的万能近似器
答:常见的高斯混合模型(Gaussian Mixture Model),高斯混合模型是概率密度的万能近似器(universal approximator)。
4. 简单介绍一下 sigmoid,relu,softplus,tanh,RBF 及其应用场景
答:
sigmoid函数
ReLU
softplus
Tanh
RBF
5.Jacobian,Hessian 矩阵及其在深度学习中的重要性
答:
6.KL 散度在信息论中度量的是那个直观量
答:
7. 数值计算中的计算上溢与下溢问题,如 softmax 中的处理方式
答:
8. 与矩阵的特征值相关联的条件数 (病态条件) 指什么,与梯度爆炸与梯度弥散的关系
答:
病态条件
梯度弥散与梯度爆炸
9. 在基于梯度的优化问题中,如何判断一个梯度为 0 的零界点为局部极大值、全局极小值、还是鞍点?Hessian 矩阵的条件数与梯度下降法的关系?
答:
(1)