qq_43783336的博客

搭建神经网络的两个难点： （1） 优化问题：首先，神经网络的损失函数非凸，找到全局最优解通常比较困难．其次，深度神经网络的参数非常多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法， 而一阶优化方法的训练效率通常比较低．此外，深度神经网络存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效． （2） 泛化问题：由于深度神经网络的复杂度比较高，并且拟合能力很强，容易在训练集上产生过拟合．因此需要通过一定的正则化方法来改进网络的泛化能力． 7.1 网络优化 网络优化的两个难点：网络结构多，

机器学习：CS229@Stanford 深度学习 CS224d@Stanford是斯坦福大学博士毕业生、Salesforce首席科学家Richard Socher团队呈现的一门运用神经网络解决自然语言处理问题的课程，和CS231n应该是姐妹课程。本课程更注重RNN系列模型的运用。 CS231n@Stanford是斯坦福大学李飞飞团队呈现的一门运用神经网络解决计算机视觉问题的课程，严格来说也不需要太多基础。本课程更注重CNN系列模型的运用。 NN4ML是多伦多大学Geff Hinton教授录制的一门.

线性判别函数与决策边界