Spark MLlib求解机器学习Precision, Recall, F1值 (Java代码)

最新推荐文章于 2024-01-18 16:11:14 发布
最新推荐文章于 2024-01-18 16:11:14 发布
阅读量894 收藏
点赞数
分类专栏： AI / BigData / Cloud 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wendaocp/article/details/106304659
版权

Spark MLlib求解Precision, Recall, F1 使用Java

Maven依赖

 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
     <version>2.2.0</version>
 </dependency>
 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-sql_2.11</artifactId>
     <version>2.2.0</version>
 </dependency>
 <dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-mllib_2.11</artifactId>
     <version>2.2.0</version>
 </dependency>

使用的核心类

org.apache.spark.mllib.evaluation.BinaryClassificationMetrics

理论准备

在机器学习中的二分类问题，仅仅使用accuracy不足够准确和足以度量模型，尤其是当数据集正负样本不均衡时。
例子：
银行对用户分类为二类即信用好和差，来进行发放信用卡。
那么即使不做数据挖掘，而是直接判定所有用户的信用都是好的，那么accuracy也是够高的。
但是很显然，银行对信用差的用户更加在意，需要对这少数群体更慎重划分。

Precicion, Recall, F1

首先引入混淆矩阵和True Positive(TP), False Positive(FP), False Negative(FN), True Negative(TN)。
Positive样本（对应1/0中的1）对应的是 数量少的那方，也就是上面例子中的信用差的群体。

label=1label=0
prediction=1TPFP
prediction=0FNTN

对上面的混淆矩阵解释一下：
对于TP, FP, FN, TN都是两个字母：

  • 第1个字母：是预测做的的对不对，显然当预测和label一致时是T，否认是F。
  • 第2个字母：是predict的值，预测什么值这里就是什么。

计算Precision

P r e c i s i o n = T P T P + F P Precision=\frac{TP}{TP + FP} Precision=TP+FPTP​
Precision即对于表格内容的第一行而言，TP占比。

计算Recall

P r e c i s i o n = T P T P + F N Precision=\frac{TP}{TP + FN} Precision=TP+FNTP​
Recall即对于表格内容的第一列而言，TP占比。

计算F1

F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l = 2 ∗ T P 2 ∗ T P + F P + F N F1=\frac{2 * Precision * Recall}{Precision + Recall} = \frac{2*TP}{2*TP + FP + FN} F1=Precision+Recall2∗Precision∗Recall​=2∗TP+FP+FN2∗TP​

注意

  1. 从上面可知，TN一直没有用到。实际上，在计算accuracy时会用到它，计算公式
    a c c u r a c y = T P + T N T P + F P + F N + T N accuracy = \frac{TP+TN}{TP+FP+FN+TN} accuracy=TP+FP+FN+TNTP+TN​
  2. 一定要以数量少的那一类样本当成Positive。

Java代码

package ml;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.mllib.evaluation.BinaryClassificationMetrics;
import org.apache.spark.rdd.RDD;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.*;
import scala.Tuple2;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

public class TestPrecisionRecallF1Java {
    public static void main(final String[] args) {
        System.out.println("test in java");

        SparkConf conf = new SparkConf().setAppName("test in java").setMaster("local");
        JavaSparkContext jsc = new JavaSparkContext(conf);
        jsc.setLogLevel("WARN");

        /** 
         * 数量
         * TP=1,   FP=0
         * FN=10,  TN=89
         */

        // schema
        List<StructField> fields = new ArrayList<StructField>();
        fields.add(DataTypes.createStructField("pred", DataTypes.DoubleType, true));
        fields.add(DataTypes.createStructField("label", DataTypes.DoubleType, true));
        final StructType schema = DataTypes.createStructType(fields);

        SQLContext sqlContext = new SQLContext(jsc);
        final JavaRDD<Row> rowJavaRDD = sqlContext.read().csv("*此处是你的路径，数据在下面**/data.csv").javaRDD();
        // String 2 Double
        final JavaRDD<Row> rowJavaRDD1 = rowJavaRDD.mapPartitions(new FlatMapFunction<Iterator<Row>, Row>() {

            private static final long serialVersionUID = 1L;

            public Iterator<Row> call(Iterator<Row> iterator) throws Exception {
                List<Row> result = new ArrayList<Row>();
                Row row;

                while(iterator.hasNext()) {
                    row = iterator.next();
                    Double aDouble0 = Double.valueOf(row.getString(0));
                    Double aDouble1 = Double.valueOf(row.getString(1));
                    result.add(RowFactory.create(aDouble0, aDouble1));
                }
                return result.iterator();
            }
        });

        Dataset<Row> df = sqlContext.createDataFrame(rowJavaRDD1, schema);

		// 上面的都是数据准备工作。下面真正开始计算
        BinaryClassificationMetrics metrics = new BinaryClassificationMetrics(df); // 核心。
        RDD<Tuple2<Object, Object>> precision = metrics.precisionByThreshold();  // 计算precisoin
        RDD<Tuple2<Object, Object>> recall = metrics.recallByThreshold();  // 计算recall
        RDD<Tuple2<Object, Object>> f1 = metrics.fMeasureByThreshold();  // 计算F1

        System.out.println("precision: "+precision.toJavaRDD().collect());
        System.out.println("recall   : "+recall.toJavaRDD().collect());
        System.out.println("f1       : "+f1.toJavaRDD().collect());
    }
}

运行结果：

precision: [(1.0,1.0), (0.0,0.11)]
recall   : [(1.0,0.09090909090909091), (0.0,1.0)]
f1       : [(1.0,0.16666666666666669), (0.0,0.19819819819819817)]

只需要关注数组中的第一个Tuple2，即

precision: (1.0,1.0)  关注第2个数值，是1.0， 指的是precision=1.0
recall   : (1.0,0.09090909090909091)  关注第2个数值0.0909，recall=0.0909
f1       : (1.0,0.16666666666666669)   同理，f1=0.1666

回到发放信用卡问题上

Positive类别是信用差（对应Positive）的用户群体。当我们把大部分用户判定为信用好（对应Negative类别），就如同data.csv中，TP+TN占比90%。虽然这个accuracy很高，但是recall, F1度量值很低。
这里若使用recall或F1来度量和评定模型效果的话，会更加有说服性。

用到的数据集

data.csv。第一列是prediction，第二列是label。
从上到下是：1个TP，0个FP，10个FN，89个TN。
数据集中有11个label=1即信用差的用户，而TP=1即对信用差的用户只成功预测了1次。

1.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 1.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0
0.0, 0.0

参考

https://blog.csdn.net/wo334499/article/details/51689609/

wendaocp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java计算分类f1_分类模型的F1-score、Precision和Recall 计算过程
weixin_39930144的博客
02-16 409
分类模型的F1分值、Precision和Recall 计算过程引入通常，我们在评价classifier的性能时使用的是accuracy考虑在多类分类的背景下accuracy = (分类正确的样本个数) / (分类的所有样本个数)这样做其实看上去也挺不错的，不过可能会出现一个很严重的问题：例如某一个不透明的袋子里面装了1000台手机，其中有600台iphone6, 300台galaxy s6, 50...
机器学习/数据处理领域结果的评估度量——召回率、精度、F1score等指标计算方法
Yancy的博客
11-28 3717
我们常常在一些论文后看到作者给出的一些评估度量，不仅仅是简单的正确率，还有Fscore、recall等看似高深的东西。那么这些东西是怎么来、怎么用的呢？ 我们要从不平衡类问题讲起。因为在正、负样本不均衡的类中，如果单一使用准确率可能是很不合理的。比如有10个异常类（一般标为正类），90个正常类（负类），那么我们关心的是异常类能不能都被正确分出来，这样才能达到我们的目标效果（就是检测异常）。如果我...
Spark - AUC、Accuracy、Precision、Recall、F1-Score 理论与实战
BITDDD小栈
04-06 1489
Spark AUC、Accuracy、Precision、Recall、F1-Score 理论与实战。
结合源码分析Spark中的Accuracy(准确率), Precision(精确率), 和F1-Measure
小帆的帆的专栏
06-16 2万+
转载请标明出处：小帆的帆的专栏例子某大学一个系，总共100人，其中男90人，女10人，现在根据每个人的特征，预测性别Accuracy(准确率)Accuracy=预测正确的数量需要预测的总数 Accuracy = {预测正确的数量 \over 需要预测的总数} 计算由于我知道男生远多于女生，所以我完全无视特征，直接预测所有人都是男生 我预测所的人都是男生，而实际有90个男生，所以 预测正确的数量
precesion，recall，F1
DOGIMA的博客
05-25 474
precesion：精确率/查准率，即在检索后返回的结果中，真正正确的个数占整个结果的比例。 recall：召回率/查全率，即在检索结果中真正正确的个数 占整个数据集（检索到的和未检索到的）中真正正确个数的比例。 FN：False Negative,被判定为负样本，但事实上是正样本。 FP：False Positive,被判定为正样本，但事实上是负样本。 TN：True Negative,被判定为负样本，事实上也是负样本。 TP：True Positive,被判定为正样本，事实上也是证样本。 这里的正样本和
Spark MLlib算法
余音丶未散的博客
01-09 919
Spark MLlib算法官方文档Mathematical formulation数学公式Loss functions损失函数 hinge loss logistic loss squared loss Regularizers正则化 L1 L2 elastic net zero (unregularized) Optimization优化spark使用 SGD 和 L-BFGS 这两种梯度下降方法
Recall/Precision(召回率/准确率)以及F1-measure
AbaloneVH的博客
02-24 1318
近期在看一些文献，用到recall（召回率）和precision（准确率）两个概念以及F1-measure，前两个概念可以参考下面的内容，之前也了解过，但因为F1-measure不理解，也不明白如何衡量，加上近期刚好看到了F-norm（Frobenius范数），将两者混淆了，所以需要仔细理解一下F1-measure。简言之，F1-measure是为了中和一下recall和precision两个标准
Roc-curve.zip_Recall_precision_precision recall_roc_roc curve ja
09-14
3. **计算TPR、FPR、Precision和Recall**：对每个阈值，计算对应的TP、FP、TN和FN（真负例），然后用这些值计算TPR、FPR、Precision和Recall。 4. **绘制曲线**：使用计算出的TPR和FPR绘制ROC曲线，用Precision和...
机器学习_逻辑回归代码_癌症案例
12-22
逻辑回归是一种广泛应用于预测分析和分类任务的统计学方法，尤其在机器学习领域中占有重要地位。本案例将深入探讨如何使用逻辑回归模型来预测癌症的发生。我们将通过一个实际的数据集，结合编程代码来理解这一过程。...
基于Spark MLlib 的 ALS 算法实现的电影推荐系统，采用MovieLens数据集进行分析建模.zip
09-26
1. **Spark MLlib**：MLlib是Spark的机器学习库，提供了多种机器学习算法，包括分类、回归、聚类以及协同过滤等。在这个项目中，我们主要关注协同过滤，它是推荐系统中最常用的方法之一，特别是ALS算法。 2. **ALS...
基于Spark机器学习的电商推荐系统.zip
最新发布
03-14
本项目“基于Spark机器学习的电商推荐系统”聚焦于利用大数据处理能力和高效的机器学习模型来实现精准的个性化推荐。 Spark作为分布式计算框架，以其高效、易用和灵活的特点，广泛应用于数据处理和分析任务，尤其在...
深度学习评估-准确率(Precision)、召回率(Recall)、F值(F-Measure)计算代码
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
09-06 9676
def precision(y_true, y_pred): # Calculates the precision true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1))) predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1))) pre...
秒懂Precision精确率、Recall召回率-附代码和案例
阿利同学的博客
01-18 1557
秒懂Precision精确率、Recall召回率-附代码和案例。presion精度，召回率recall一文秒懂！
准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure)
是鲤鱼啊
05-20 1616
TP(True Positive，真正的正)：正预测为正 TN(True Negative, 真正的负)：负预测为负 FP(False Positive，假的正)：负预测为正 FN(False Negative，假的负)：正预测为负 1.准确率（正确率）：预测对了的 / 总数，预测对了的=TP+TN Accuracy = (TP+TN) / (TP+TN+FP+FN) 错误率 E...
二分类中的precision，recall，F1值计算(举例)
热门推荐
buchidanhuang的博客
09-14 3万+
  二分类中的混淆矩阵中有以下4种标记： 预测(列)/label(行) 正样本 负样本 正样本 TP(真正例) FN(假反例) 负样本 FP(假正例) TN(真反例)   TP(真正例) :将正样本预测为正样本   FN(假反例)：将正样本预测为负样本   FP(假正例)：将负样本预测为正样本   TN(真反例):将负样本预测为负样本   说明：后面的字母表示预测结果，前一...
ML基本知识（十）分类器评价指标
更木的博客
04-12 1843
准确率和召回率 对于二分类问题，常用的评价标准为精确率(precision)和召回率(recall), 通常以关注的类为正类(正样本)，其他类为负类(负样本)， 对于分对或者分错，有下列四种情况： TP-> 把正类预测成正类 FN-> 把正类预测为负类 FP-> 把负类预测为正类 TN-> 把负类预测为负类 这里有两个概念，精确率和召回率， 精确率(查准率)为 P=TPT...
机器学习sklearn 计算recall ， precison , F1
weixin_43327597的博客
10-28 1610
机器学习sklearn库 计算recall ， precison , F1 recall 和precison F1是 二分类问题，推荐系统，链路预测等问题非常重要的衡量指标 今天来讲一下如何快速地计算这个三个指标 下面给出代码 import os import numpy as np from sklearn.metrics import precision_recall_fscore_support from sklearn.metrics import roc_auc_score from sklea
Spark求数据的统计值：最大值、最小值、平均值、方差、数量（Java代码）
wendaocp的博客
05-28 3880
Spark计算统计值用到的核心类Java代码注 用到的核心类 org.apache.spark.mllib.stat.Statistics org.apache.spark.mllib.stat.MultivariateStatisticalSummary Java代码 package ml.summary; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spar
评估机器学习svm的accuracy，Precision，Recall,F1值的代码
05-20
下面是评估SVM机器学习模型的Accuracy、Precision、Recall和F1值的Python代码： ```python from sklearn import datasets from sklearn import svm from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score # 加载数据集 iris = datasets.load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 建立SVM模型 clf = svm.SVC(kernel='linear', C=1) clf.fit(X_train, y_train) # 预测测试集结果 y_pred = clf.predict(X_test) # 计算评估指标 acc = accuracy_score(y_test, y_pred) precision = precision_score(y_test, y_pred, average='macro') recall = recall_score(y_test, y_pred, average='macro') f1 = f1_score(y_test, y_pred, average='macro') print("Accuracy:", acc) print("Precision:", precision) print("Recall:", recall) print("F1 Score:", f1) ``` 其中，我们使用了Iris数据集进行演示，使用SVM模型进行分类，然后使用`train_test_split`函数划分训练集和测试集，最后使用`accuracy_score`、`precision_score`、`recall_score`和`f1_score`函数计算评估指标。注意，在计算Precision、Recall和F1值时，我们使用了`average='macro'`参数，表示对每个类别的指标取平均值。如果需要对每个类别分别计算指标，可以设置`average=None`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值