机器学习算法的基础知识

1、评估指标

预测值
01
实际0TNFP
1FNTP
  • a c c u r a c y = T N + T P T N + T P + F P + F N accuracy = \frac{TN+TP}{TN+TP+FP+FN} accuracy=TN+TP+FP+FNTN+TP
  • p r e c i s i o n = T P T P + F P precision= \frac{TP}{TP+FP} precision=TP+FPTP
  • r e c a l l = T P T P + F N recall= \frac{TP}{TP+FN} recall=TP+FNTP
  • F 1 = 2 ∗ ( p r e + r e c ) p r e + r e c F1= \frac{2*(pre+rec)}{pre+rec} F1=pre+rec2(pre+rec)
  • ROC曲线: X 轴 : F P R = F P F P + T N ; Y 轴 : T P R = T P T P + F N X轴:FPR=\frac{FP}{FP+TN};Y轴:TPR=\frac{TP}{TP+FN} XFPR=FP+TNFPYTPR=TP+FNTP

2、偏差与方差(过拟合与欠拟合)

E r r o r = B i a s + V a r i a n c e Error=Bias+Variance Error=Bias+Variance

  • E r r o r Error Error:整个模型的准确度
  • B i a s Bias Bias:模型在样本上的输出与真实值之间的误差(即模型本身的精度)
  • V a r i a n c e Variance Variance:每次输出结果与模型输出期望之间的误差(即模型的稳定性)
    在这里插入图片描述

3、正则化(解决过拟合)

在这里插入图片描述

  • L1正则化产生稀疏特征
  • L2产生更多特征但都会接近于0

4、梯度下降算法(算法优化方式)

在这里插入图片描述

5、数据不平衡

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值