《统计学习方法》速读
微丶念
所谓的不感兴趣,仅仅只是自己没有做好而已。
展开
-
关于Novikoff定理与感知机算法的收敛性
感知机模型 感知机是一种二类分类的线性模型,它是由误分类驱动的,属于判别模型。说白了,它的实质就是输入空间或特征空间中的一个分离超平面。 《统计学习方法》中的定义: 学习策略 &n原创 2018-03-15 12:18:18 · 4292 阅读 · 6 评论 -
k近邻法的实现:kd树
k近邻法(k-NN) k近邻法并没有显式的训练过程,对于某个新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。换句话说,其本质就是利用训练数据集对特征向量空间进行划分。 &nbs原创 2018-03-16 17:31:47 · 313 阅读 · 0 评论 -
关于Hoeffding不等式及泛化误差上界
在监督学习中,我们通常会定义一个目标函数来衡量模型的好坏,定义一个风险函数从而计算模型预测结果与真实值之间的误差是一种惯用手段。一般而言,我们将考虑训练集上的训练误差和测试集上的泛化误差,事实上,训练误差的持续降低并不是那么令人愉快,因为这可能是“过拟合”在背后操纵着一切。总的来说,只有泛化误差的降低才能真的让人感觉美滋滋。 如果给我们一个模型,我们该从什么方面去降低泛化...原创 2018-03-12 15:11:02 · 5930 阅读 · 6 评论