深度学习01（西瓜书）

• 模型评估与选择

   

2.1经验误差与过拟合：概念明确的问题，假设手写体问题，m个样本数据，比如有1000张手写体照片，Y样本正确的结果，使用模型评估，对照片进行分析，正确的话就返回Y 如果有a个错误

基本数据

rate错误率： E=a/m 

accurary精度：1-E

error误差：｜Y-Y'|

2.2训练集和测试集（训练集验证集和测试集）

泛化能力（预测能力）

• ：模型对没有见过的数据的预测能力，
• 训练集 VS 测试集

trainning set训练集 ：三个方法 =留出法+交叉验证法+自助法

留出法：简单的三七分，二八分 将少部分的数据留出给验证集合

（或者也可以进行多次随机划分，训练出多个模型，最后取平均值）

交叉验证法：k折交叉验证

（意思就是把数据一次缩减一折，分成多少个数据集，最后就是一个数据集合，不推荐时间长）

自助法：假设一个样本集有m=10个 我们随机选择里面其中一个 选择十个作为测试集合

那么我们假如里面那个数字是n 那么选到n的概率就是1/n，没被选择的概率就是（1-1/n）有m次就是（1-1/n）的m次方 那么当m趋于无穷的时候就是1/e  =0.368（约等）

重点：

没被选到的数字就是测试集适用于数据较小且难以划分，缺点就是改变初始数据集的分布有误差

validation验证集：

• 调参数很多参数是认为规定的
• 比如三个参数，每个参数5个候选值 对于一个训练集/测试集就有5*3=125（幂）模型需要
• 调参数就会加入一个数据集，验证集合
• 训练集训练，验证集看结果，调参数再往返

2.3性能度量{具体公式}

• 回归任务最常用的就是均方误差：预测值与真实值的差方总求和/总数。
• 如果每个数出现的概率不同那么在每一个差方值前加权就是乘出现的概率值

错误率：见名知意 在总数据中错误的占总的比值

查准率查全率：