西瓜书的学习记录

第一章绪论

1、维数：属性的个数；

2、分类和回归：二分类和多分类，回归是连续值；

3、监督学习和无监督学习：分类和回归为监督学习，聚类为无监督学习，西瓜书前8章为监督学习，后面为无监督学习，有标签的是监督学习；

4、泛化能力：适用于没在训练集中的样本，学得的模型用于新样本的能力；

5、归纳偏好：奥卡姆剃刀：若有多个假设与观察一致，则选择最简单的那个；

6、没有免费的午餐（NFL）：无论算法a多么聪明，算法b多笨，他们期望性能相同。II为指示函数。

习题1.4，二分类的性能度量l=II（f=h）+II(f!=h),必然也是与2的x次幂相乘，应为常数，故和学习算法a,b无关。

第二章模型评估与选择

1、经验误差：学习器在训练集上的误差；泛化误差即新样本的误差为；

2、过拟合：把训练样本自身的一些特点当作了所有潜在样本都会具有的一般特性。学习能力过于强大容易过拟合，欠拟合为学习能力低下哎，可以通过如决策树增加分支，神经网络增加训练轮数等，过拟合为NP难，不可避免

3、评估方法：留出法：D=SUT,SnT=空；交叉验证法：把D划分K个互斥子集，K-1个并集作训练集，1个作测试集，进行K次训练和测试，最总返回K个测试结果均值。特例留一法：将m个样本，k=m，只划出一个测试；自助法：将m个样本，每次随机挑出一个放入另一个数据集，执行m次后得到一个新的数据集，这个数据集有原始数据0.368的样本不出现在新的数据集中，将新的数据集作为训练集，原始数据-新的数据的那部分作为测试集

4、调参和最终模型

学习算法有些参数要设定，参数配置不同，学的模型性能有显著差别，对参数设定即为调参

模型评估与选择中应用与评估测试的数据集成为验证集，用测试集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参。

5、性能度量

性能度量：衡量模型泛化性能的评价标准。

回归任务常用的性能度量为均方差：,

1)错误率和精度

错误率：

精度为：

精度为=1-错误率

2）查准率和查全率

混淆矩阵：

查准率和查全率：

查准率就是在所有真实样本中，找出正确的比例，查全率，就是在所有正的样本中（正样本中即预测的正样本和错误预测反样本），预测的正样本比例。

F1度量：

真正例率 TPF（真正例中预测为正的比例）和假正例率（所有反例中，预测为反例的比例）：

AUC为ROC下面的面积，

例子：0 ，1，2，2，3，2，3，3，2，3，3，3，这个排序轴上，是3的就是正例，则从第一个3开始，就正例比负例在轴上的小的有2+1+1=4，则lrank=4/36=1/9

auc得先求roc，以上面为例TPR=1/6,2/6,3/6,    ,4/6,5/6,     ,6/6

                                           FPR=0/6,0/6,0/6,1/6,    ,      ,2/6,     ,3/6,4/6,5/6,6/6

画出坐标，得到32/36面积，即上面公式。

代价矩阵：

错误率：

作业1：从500个正例选出350个，从500个反例选出350进行组合C350C350

作业2：即在P-R图上F1和BEP没有绝对的相关