过拟合和欠拟合、模型容量

如简单的数据用很深的模型会造成过拟合，泛化性不足；如果复杂的数据用不够深的模型，训练不好，精度不好

估计模型容量

难以在不同种类算法间比较，如树模型和神经网络；同种类模型可比较容量

随机森林和神经网络区别很大

VC维-线性分类器

2维输入的感知机，VC维=3，能够分类任何三个点，但不是4个（xor)

这个4个点的图显示了为什么单层的感知机处理不了xor问题，需要隐藏层，两条线

支持N维输入的感知机的VC维是N+1

VC维衡量训练误差和泛化误差之间的间隔，但是深度学习中很少使用，计算深度学习的VC维很困难

衡量数据复杂度

样本个数、每个样本的元素个数；时间空间结构、多样性

但是相对的

总结

• 模型容量需匹配数据复杂度，否则可能导致欠拟合、过拟合

• 统计机器学习提供数学工具衡量模型复杂度

• 实际中一般靠观察训练误差、测试误差判断