整理

1、最小二乘法，对每个参数求偏导另其为0，需要求矩阵的逆，可能矩阵的逆不存在，超过10000个特征建议用迭代，拟合函数不是线性的，无法使用最小二乘法

2、梯度下降，选择初始值，步长，求梯度方向，

交叉验证：样本小于10000条，应用交叉验证

简单交叉验证：随机将样本分为测试集合验证集，再将样本打乱，再随机重新构建测试集合验证集

s-折交叉验证：将样本随机分成s份，每次选择s-1份进行训练，最后一份进行验证

留一交叉验证：即s-折交叉验证中s为取样本总数

自助法：随机抽样，抽取训练集及测试集

精确率：TP/(TP+FP)  （预测为正样本，实际为正样本）/所有预测为正样本

召回率：TP/(TP+FN)   (预测为正样本，实际为正样本 )  /所有实际为正样本

特异率：TN/(FP+TN)   (预测为负样本，实际为负样本）/所有实际为负样本

综合精确率和召回率

TPR（灵敏度）：和召回率表示一样

FPR(1-特异度)：（预测为正样本，实际为负样本）/（所有实际为负样本）

 

FPR越小，TPR越高表示预测的结果最好，以TPR为Y轴，以FPR为X轴，画出的即为ROC曲线，面积为AUC

以精确率为Y轴，召回率为X轴，画出的曲线即为PR曲线，