深度学习&机器学习笔记
TTdreamloong
人工智障飞行员
展开
-
如何防止过拟合和欠拟合
如何防止过拟合和欠拟合过拟合(Over-Fitting)高方差在训练集上误差小,但在测试集上误差大,我们将这种情况称为高方差(high variance),也叫过拟合。欠拟合(Under-Fitting)在训练集上训练效果不好(测试集上也不好),准确率不高,我们将这种情况称为高偏差(high bias),也叫欠拟合。过拟合解决方法:其直观的表现如下图所示,随着训练过程的进行,模型复杂...原创 2019-10-06 16:54:59 · 975 阅读 · 0 评论 -
为什么L1和L2正则化可防止过拟合
为什么L1和L2正则化可防止过拟合线性模型常用来处理回归和分类任务,为了防止模型处于过拟合状态,需要用L1正则化和L2正则化降低模型的复杂度,很多线性回归模型正则化的文章会提到L1是通过稀疏参数(减少参数的数量)来降低复杂度,L2是通过减小参数值的大小来降低复杂度。网上关于L1和L2正则化降低复杂度的解释五花八门,易让人混淆,看完各种版本的解释后过几天又全部忘记了。因此,文章的内容总结了网上各种...原创 2019-10-08 17:11:12 · 1563 阅读 · 0 评论 -
一文详解常用的激活函数
常见的激活函数及其特点什么是激活函数?神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值,并将输入值传递给下一层,输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层)。在多层神经网络中,上层节点的输出和下层节点的输入之间具有一个函数关系,这个函数称为激活函数(又称激励函数)。激活函数的用途(为什么需要激活函数)?如果不用激励函数(其实相当于激励函数是f(x)=...原创 2019-10-11 15:12:08 · 823 阅读 · 0 评论