【简明扼要地归纳了机器学习模型的容量的含义与影响,全文共2267字,阅读约15分钟】
本文我们来简明扼要地探讨机器学习中模型的容量(capacity)。我会收录于我的专栏《深度学习精髓与细节知识合集》中,由于平时比较忙,此专栏也将陆续(缓慢)地记录研究或实践中一点一滴的灵感。
通俗地讲,模型的容量是指它拟合各种函数的能力。比如,模型是3次多项式构成的函数:,其中权重w和偏置b的含义大家应该都很清楚了。那么它拟合函数的能力有:一次函数(w3,w2=0)、二次函数(w3=0)、三次函数(w1,2,3≠0)。如果它是更高次的表达式,显然,它就可以拟合更多阶次的函数。
这里补充讲下,尽管上面举例的模型是输入的三次函数,但输出仍是参数的线性函数。不要以为只有x的一次方才是线性函数。
容