神经网络
勤奋的小小蚂蚁
这个作者很懒,什么都没留下…
展开
-
BP神经网络隐藏层大小的选取
隐含层的选取 在BP神经网络中,输入层和输出层的节点个数都是确定的,而隐含层节点个数不确定,那么应该设置为多少 才合适呢?实际上,隐含层节点个数的多少对神经网络的性能是有影响的,有一个经验公式可以确定隐含层 节点数目,如下 其中为隐含层节点数目,为输入层节点数目,为输出层节点数目,转载 2018-01-15 11:26:06 · 17238 阅读 · 0 评论 -
神经网络的损失函数和正则化
Loss Function损失函数可以看做误差部分(loss term) + 正则化部分(regularization term)1.1 Loss TermGold Standard (ideal case)Hinge (SVM, soft margin)Log (logistic regression, cross entropy error)Square转载 2018-01-07 15:34:42 · 1953 阅读 · 0 评论 -
有dropout的神经网络的编程问题
1、在运行训练神经系统时,dropout的参数为0到1之间。例如:a = self.sess.run([self.train_step], feed_dict={self.Xtr: x_data, self.Ytr: y_data, ...原创 2018-02-27 17:06:30 · 330 阅读 · 0 评论 -
如何优化和调试神经网络
1、不同激活函数,构建的神经网络的效果差异很大,可以在激活函数中测试2、优化函数和学习率的关系巨大,影响神经网络的学习速度。3、一般损失值函数不会相差太大,一般使用交叉熵损失值就行。4、当训练网络时,当随着训练次数增加,神经网络的预测值一直不变时,就应该考虑学习率过小的因素,导致神经网络不会收敛,预测值一直不变,例如在猫狗分类中,一直识别为猫或者狗的问题。当在训练中,神经网络要么全部预测为这一类,...原创 2018-03-26 23:26:13 · 263 阅读 · 0 评论