第二哈根做交叉验证,把原有的数据集分成5份传进来,第三行代码是正则化惩罚项(当用两种模型对同一数据集进行预测的时候,如果两种模型的召回率相同,选择方差小的,方差小可以防止过拟合,怎么选择第二种模型,进行正则化,本例用的正则化惩罚项,惩罚sita,让其惩罚第一种模型的力度大,惩罚第二种模型的力度小,在目标函数或者损失函数上加上(W的平方)/2(或者加W的绝对值),这样第一种方法的loss就会比第二种方法大很多,设置一个系数,用系数×惩罚项((W的平方)/2(或者加W的绝对值)),代表惩罚力度,系数设为多少惩罚力度会更好一点呢?用交叉验证去评估什么样的模型会达到一个更好的效果。)第三行代码数组里面存放的是惩罚力度的系数,去尝试哪一个系数值比较好,第一个for循环是选择合适的系数,第二个for循环(第二张图的第一个for循环)是进行交叉验证(所平均分的每一段都作为验证集,验证一次)。第二张图的第三行代码的l1是用l1进行惩罚(l1惩罚是(w的平方)/2;l2惩罚是|W|);
第三张图都是打印操作。
看哪一个参数让召回率最高,0.01的时候召回率最高。
混淆矩阵,X轴是预测值,Y轴是真实值,正例预测成正例有137个,正例预测成了反例有10个,此时的recall=137/(137+10);精度 =(129+137)/(129+137+10+20)
(下采样)进行测试的结果,红色框是recall值(135/(12+135))
这里有一个问题,0代表不患癌症,1代表得癌症,误杀了8581人,但是不影响召回率,下采样面临着一个误杀的问题。
如果用原来数据进行测试,不用上采样,也不用下采样。对于样本极度不均衡的数据集,召回率都普遍偏低
逻辑回归的sigmoid函数默认分割点是0.5,也就是当预测值是0.7的时候认为是1(得癌症),当预测值是0.3的时候认为是0(不得癌症),但是这个分割点是可以调节的,比如说调节成0.7,当预测值是0.8的时候认为是1,当预测值是0.65的时候认为是0.
调节函数是第三行代码的predict_proba函数,第四行矩阵里存储的数字,是调节的分割点。
宁肯错杀一万也不放过一个的时候,recall值很高(=1),但是精度低,在评估一个模型的时候,不能只看召回率,要多角度评估,从实际出发。在本例中0.5比较合适。
逻辑回归做二分类实例以及调参
最新推荐文章于 2023-02-09 03:45:00 发布