统计学习方法学习笔记第一节

含有求和形式的函数求导

求解对应的wj，首先就要把wj的求和符号给去掉，然后在进行求导

泛化误差：对于下面这个公式的理解

1. 求解期望：期望可理解为均值，在概率论中可以使用：期望 = 概率*值 计算 来计算
2. 此处利用积分（积分可以理解为某种形式的求和）实则是为了求取均值，
3. 整个模型的泛化误差相当于模型的损失平均值
   如何使用泛化误差： 对于不同的学习模型，用泛化误差来衡量泛化能力，泛化误差越小，泛化能力越好

泛化误差上界

hoeffding不等式：

由于是二分类问题，bi-ai=1，就可以被简化为：

由于总共有d个所以：

然后就可以推导出：

典型的判别模型：

K近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场

标注常用模型：隐马尔可夫模型，条件随机场

第二章

感知机学习策略1 ：利用随机梯度实现

证明实现感知机的误分类次数上限：利用Novikoff公式和平方来放缩

感知机学习策略2 ：对偶算法的实现

参数更新方法：

ai---a,+n  
bi-- b+nyi

Gram矩阵计算方法