N维空间1-CSDN博客

转载神经网络训练中的Tricks之高效BP（反向传播算法）

转载：神经网络训练中的Tricks之高效BP（反向传播算法）神经网络训练中的Tricks之高效BP（反向传播算法）[email protected]://blog.csdn.net/zouxy09 Tricks！这是一个让人听了充满神秘和好奇的词。对于我们这些所谓的尝试应用机器学习技术解决某些问题的人，更是如此。曾记得，我们绞尽脑汁，搓手

2015-06-25 16:00:18 523

转载机器学习中的范数规则化之（二）核范数与规则项参数选择

转载：机器学习中的范数规则化之（二）核范数与规则项参数选择机器学习中的范数规则化之（二）核范数与规则项参数选择[email protected]://blog.csdn.net/zouxy09 上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大

2015-06-25 14:58:22 362

转载机器学习中的范数规则化之（一）L0、L1与L2范数

转载机器学习中的范数规则化之（一）L0、L1与L2范数机器学习中的范数规则化之（一）L0、L1与L2范数[email protected]://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这

2015-06-25 14:52:25 413

原创神经网络自学经验整理

神经网络自学经验整理业余时间自学神经网络，一年多来时断时续，遇到了各种各样的坑，各种不收敛，现整理一些经验，不对之处欢迎指出问题1：迅速收敛到一个误差很大的局部极小值迭代一两步后，误差不再变小，隐藏层梯度几乎为0，但输出层梯度接近0或不接近0. 解决方法：检查隐藏层和输出层的输出值，如果输出值都是0（tanh激活），或都是0.5（sigmoid激活），说明权值初始化不好，冲量项系数太小。初始权值

2015-05-18 23:18:24 834 1

转载数学之美番外篇：平凡而又神奇的贝叶斯方法

数学之美番外篇：平凡而又神奇的贝叶斯方法BY 刘未鹏 – SEPTEMBER 21, 2008POSTED IN: 数学, 机器学习与人工智能, 计算机科学概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到

2015-05-02 08:39:57 330