一种训练集一种算法
2.1评估方法【训练集验证集与测试集】
testing set测试集的保留方法
1.留出法
要注意训练集与测试集同分布或者进行多次随机划分,训练出多个模型,最后取平均值
2.交叉验证法
k折交叉验证
缺点:数据量较大时,对算力要求较高。
3.自助法
原理:即通过自助采样,初始数据集D中约有36.8%的样本未出现在采样数据集D’中。于是我们可以将D’用作训练集,D\D’用作测试集;这样,实际评估的模型与
适用:1.数据及较小,难以划分的时候
2.缺点是改变初始数据集分布,会引入估计偏差。
validation set 验证集
2.2性能度量【具体公式】
performance management性能度量
任务描述:
mean squared error均方误差
回归任务最常用的性能度量是“均方误差”
更一般的,对于数据分布D和概率密度函数p(.),均方误差可描述为
2.3错误率与精度
2.3.1 error rate错误率
错误率就是数量问题,E是错误率
相等时取0,不相等取1,求和,求和得到的是一共有多少个不相等,不相等个数再除以总个数,就是错误率。
2.3.2.accuracy精度
2.3.3查准率、查全率与F1
查准率:预测的结果里有多少是对的。
查全率:真正的1有多少个被预测出来了。
例子
一种训练集多种算法
ROC曲线
AUC曲线
代价曲线 cost curve
训练集
多个测试集一种算法
离散型随机变量的函数分布
一元线性回归
对w求导
对b求导
1.对数线性回归
原型:y=wTx+b
对数:lny=wTx+b
2.广义线性模型
考虑更一般的情况,有link function联系函数g()
y=g-1(wTx+b)
3.3对数几率回归(逻辑回归)logistic regression logit regression
问题描述:分类问题,x的取值就是几种,y=比如0,1,2这样
考虑广义线性模型,只需要用一个单调可微的关系函数将分类任务的标记y做一个转换就可以了。
二分类任务
y={0,1}
对数几率函数(logistic function Sigmoid函数)
替换为单调可微的函数