BUB1997的博客

原创 神经网络中的RuntimeWarning: divide by zero encountered in log问题

在编程实现神经网络的时候，在将学习率α设置的比较大或者将w用numpy.random.randn()初始化的时候，会遇到RuntimeWarning: divide by zero encountered in log警告。是因为sigmoid函数进行exp(-z)运算时，因为输入得z值太大（正值）或太小（负值），产生了内存溢出，最终得到的结果是nan。所以在cost函数中的log计算引发此警告。...