1、最小二乘法,对每个参数求偏导另其为0,需要求矩阵的逆,可能矩阵的逆不存在,超过10000个特征建议用迭代,拟合函数不是线性的,无法使用最小二乘法
2、梯度下降,选择初始值,步长,求梯度方向,
交叉验证:样本小于10000条,应用交叉验证
简单交叉验证:随机将样本分为测试集合验证集,再将样本打乱,再随机重新构建测试集合验证集
s-折交叉验证:将样本随机分成s份,每次选择s-1份进行训练,最后一份进行验证
留一交叉验证:即s-折交叉验证中s为取样本总数
自助法:随机抽样,抽取训练集及测试集
精确率:TP/(TP+FP) (预测为正样本,实际为正样本)/所有预测为正样本
召回率:TP/(TP+FN) (预测为正样本,实际为正样本 ) /所有实际为正样本
特异率:TN/(FP+TN) (预测为负样本,实际为负样本)/所有实际为负样本
综合精确率和召回率
TPR(灵敏度):和召回率表示一样
FPR(1-特异度):(预测为正样本,实际为负样本)/(所有实际为负样本)
FPR越小,TPR越高表示预测的结果最好,以TPR为Y轴,以FPR为X轴,画出的即为ROC曲线,面积为AUC
以精确率为Y轴,召回率为X轴,画出的曲线即为PR曲线,