机器学习和深度学习
OrdinaryCore
这个作者很懒,什么都没留下…
展开
-
交叉熵、L2规范化、权重初始化推导,改进Michael Nielsen神经网络(2)
问题一:使用二次代价函数时,当神经网络在犯错较大的情况时(w,b值偏离较大,如初始值给的太大),学习缓慢,即较小。 当遇到错误数据时,神经元输出易饱和,使得 接近0,学习速度缓慢。所以想要使得偏导数里不出现 ,引入交叉熵代价函数。一、交叉熵代价函数 使用交叉熵后,神经网络犯错误时学习速度更快。前后比较示意图:原创 2017-10-07 20:49:50 · 1368 阅读 · 0 评论 -
吴恩达mooc神经网络与深度学习
在图像领域,我们经常应用的是卷积神经网络(convolutional neural network),常缩写为CNN。对于音频等序列数据(sequence data),我们经常应用循环神经网络(recurrent neural network),常缩写为RNN。扩大神经网络规模和扩大数据量都可以提升神经网络的性能。算法革新也可以提高计算速度,如将激活函数由sigmoid改为修正线性单元R原创 2017-10-02 21:34:52 · 740 阅读 · 0 评论 -
Michael Nielsen神经网络(1)
本例使用了sigmoid函数和二次代价函数,以下是对原代码进行注释。mnist数据集导入"""mnist_loader~~~~~~~~~~~~A library to load the MNIST image data. For details of the datastructures that are returned, see the doc strings for ``原创 2017-10-05 22:13:48 · 794 阅读 · 0 评论 -
Xavier初始化方法
Xavier参数初始化方法目的: 使每一层输出的方差尽量相等,以减小深层神经网络训练的困难。原创 2017-11-01 09:15:17 · 981 阅读 · 0 评论