文章目录
前言
提示:这里可以添加本文要记录的大概内容:
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
一、假设集合
首先抛出概念!
“假设集合是一类模型的集合”, 如线性模型,多项式模型,树模型,神经网络模型等。机器学习的过程是,选择一类模型作为假设集合,并从该假设集合中选取最贴近真实结果的数学模型。
举例来说,
如何来衡量一个假设集合?
理论上讲,肯定是越适合数据的假设集合越好,这句话听起来像是一句废话。。。但要清楚,在现实场景中,特征的维度很少是一维的,常表现为多维特征,那么通过matplot等工具是很难直观地反映出数据的分布规律。这时该如何做出处理?
- 扩大假设集合的范围。可避免选择单一模型作为假设集合。例如GBDT, Xgboost。
- 控制过拟合的风险。避免模型过度专注于训练样本。
二、如何来衡量假设集合
1.分类能力: VC Dimension
VC维,该假设集合能够shatter的最大数据量(shatter指划分数据的任意组合)。
VC维的思想:
用假设集合中最好的模型 vs 任意数据中最复杂的情况。
举例来说:
下图为线性模型的分类问题(线性模型的VC维是N+1, N是特征维度),可以看出特征是2维的(即圆圈和叉叉),VC维是2+1=3,即最多只能划分出3个点
因此,可以得出规律
- VC维要足够大,越大则说明可以shatter的数据量越大,即分类的情况越多。
- VC维和参数量近似一致,这也可以解释,特征选取的维度越多,对应的VC维就越大。
- 复杂模型,更多参数,即更多特征。
VC维需要被制衡
VC维大也只能代表在训练集下,此假设集合能够shatter更多的数据量,但并不代表训练集以外也能保持此状态。需要提升泛化能力。
过拟合:过度关注训练数据,对抗变化能力差
正则化:
L1正则项(lasso回归)
L2正则项(岭回归)
2.稳定性 bias-variance
评价指标汇总
回归指标
1.平均绝对误差MAE
和 MSE 一样,这种度量方法也是在不考虑方向的情况下衡量误差大小。但和 MSE 的不同之处在于,MAE 需要像线性规划这样更复杂的工具来计算梯度。此外,MAE 对异常值更加稳健,因为它不使用平方。
均方误差MSE
RMSE是回归问题中最常用的评估指标。它遵循一个假设,即误差是无偏的并遵循正态分布(具体可以看:
均方根误差RMSE
1.分类指标:Accuracy
精度Accurac是指模型预测正确(包括真正例TP、真反例TN)的样本数与总体样本数的占比,即:
其中,
在二分类的问题中:
准确率是分类问题中最简单直观的指标,但是在实际中应用不多。原因是:当样本标签分布不均衡时,比如:正样本占比99%,只要模型把所有样本都预测为正样本,则准确率达到99%,但是实际上模型根本没有预测能力。
2.分类指标:查准率与查全率
混淆矩阵如下所示
-
P (Positive) 和 N(Negative) 代表模型的判断结果
-
T (True) 和 F(False) 评价模型的判断结果是否正确
查准率P:在我们预测的所有正例当中,到底有多少是真正的正例
查全率R(召回率):在所有的真实正例当中,有多少正例被我们预测出来,即召回率
ROC与AUC
从公式来看,TPR与查全率R一样,即真实的正例中多少被正确预测,因此ROC曲线以“真正例率”(True Positive Rate,简称TPR)为Y轴,X轴为“假正例率”(False Positive Rate,简称FPR),ROC偏重研究基于测试样本评估值的排序好坏。
ROC曲线绘制
假设已经得出一系列样本被划分为正类的概率,然后按照大小排序,下图是一个示例,图中共有20个测试样本,“Class”一栏表示每个测试样本真正的标签(p表示正样本,n表示负样本),“Score”表示每个测试样本属于正样本的概率。
我们从高到低,依次将“Score”值作为阈值threshold,当测试样本属于正样本的概率大于或等于这个threshold时,我们认为它为正样本,否则为负样本。举例来说,对于图中的第4个样本,其“Score”值为0.6,那么样本1,2,3,4都被认为是正样本,因为它们的“Score”值都大于等于0.6,而其他样本则都认为是负样本。每次选取一个不同的threshold,我们就可以得到一组FPR和TPR,即ROC曲线上的一点。这样一来,我们一共得到了20组FPR和TPR的值,将它们画在ROC曲线的结果如下图:
AUC
AUC(Area under Curve):Roc曲线下的面积,
计算方法一
在有M个正样本,N个负样本的数据集里。一共有MN对样本(一对样本即,一个正样本与一个负样本)。统计这MN对样本里,正样本的预测概率大于负样本的预测概率的个数。
这样说可能有点抽象,我举一个例子便能够明白。
假设有4条样本。2个正样本,2个负样本,那么M*N=4。即总共有4个样本对。分别是:
(D,B),(D,A),(C,B),(C,A)。
在(D,B)样本对中,正样本D预测的概率大于负样本B预测的概率(也就是D的得分比B高),记为1
同理,对于(C,B)。正样本C预测的概率小于负样本C预测的概率,记为0.
最后可以算得,总共有3个符合正样本得分高于负样本得分,故最后的AUC为
计算方法二
F1-Score
F1分数同时考虑精确率和召回率,让两者同时达到最高,取得平衡。F1分数表达式为
CTR
点击率=点击量/展现量
CVR
转化率,衡量CPA广告效果的指标
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。