MXNET--中文版学习 softmax手动实现 课后练习

2019独角兽企业重金招聘Python工程师标准>>>

1. 本节中，我们直接按照 softmax 运算的数学定义来实现 softmax 函数。这可能会造成什么问题？ 答：参考知乎一位的回答，https://zhuanlan.zhihu.com/p/27223959. 当exp()中的数过大，会导致计算溢出。所以可以给exp（x）中的数加一个常数F，F = -max(a1,a2,...an),保证指数函数的定义域在0附近。
2. 本节中的cross_entropy函数是按照交叉熵损失函数的数学定义实现的。这样的实现方式可能有什么问题？（提示：思考一下对数函数的定义域。） 答：对数函数的定义域是（0.+&），当无限接近于0 .可能导致结果过大为nan.

转载于:https://my.oschina.net/u/3127014/blog/2875071