LongAccumulator源码分析

最新推荐文章于 2024-06-05 19:09:50 发布
最新推荐文章于 2024-06-05 19:09:50 发布
阅读量151 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56149599/article/details/126821530
版权

我们查看下这里的accumulate方法

 

 

 

 

青稚774
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java多线程自增效率比较及原理解析
04-23
在多线程环境下，对于自增操作需要考虑线程安全问题，常见的解决方法包括使用synchronized关键字、AtomicInteger、LongAdder和LongAccumulator等。本文给出了使用这些方法实现自增的代码演示，并通过多线程测试比较...
Java17新特性详解含示例代码（值得珍藏）
01-20
3. 新的并发工具：Java 17还引入了新的并发工具，如LongAdder和LongAccumulator。这些工具提供了更好的并发性能，并使开发人员能够更轻松地编写高并发的应用程序。 4. 更好的类型推断：Java 17改进了局部变量类型...
LongAdder/LongAccumulator类分析
BaseLike的博客
02-02 325
java8，LongAdder原理
java longadder_Java并发编程笔记之LongAdder和LongAccumulator源码探究
weixin_35762553的博客
02-16 142
一.LongAdder原理LongAdder类是JDK1.8新增的一个原子性操作类。AtomicLong通过CAS算法提供了非阻塞的原子性操作，相比受用阻塞算法的同步器来说性能已经很好了，但是JDK开发组并不满足于此，因为非常搞并发的请求下AtomicLong的性能是不能让人接受的。如下AtomicLong 的incrementAndGet的代码，虽然AtomicLong使用CAS算法，但是CAS...
Java并发编程笔记之LongAdder和LongAccumulator源码探究
weixin_33962621的博客
06-07 125
一.LongAdder原理 LongAdder类是JDK1.8新增的一个原子性操作类。AtomicLong通过CAS算法提供了非阻塞的原子性操作，相比受用阻塞算法的同步器来说性能已经很好了，但是JDK开发组并不满足于此，因为非常搞并发的请求下AtomicLong的性能是不能让人接受的。 如下AtomicLong 的incrementAndGet的代码，虽...
JDK12源码分析_04 LongAdder / DoubleAdder、LongAccumulator / DoubleAccumulator、Striped64 源码分析
Java小霸王学习机
04-11 477
JDK12源码分析_04 LongAdder / DoubleAdder、LongAccumulator / DoubleAccumulator、Striped64 源码分析LongAdderDoubleAdderLongAccumulatorDoubleAccumulator LongAdder AtomicLong内部只有一个volatile long value，这种非阻塞的原子操作虽然说相...
Spark:accumulator源码分析
qq_24325581的博客
01-28 232
Spark版本：2.4.0 源代码位置：org/apache/spark/util/AccumulatorV2.scala 源代码如下： 当需要long型累加器时继承如下抽象类 /** * An [[AccumulatorV2 accumulator]] for computing sum, count, and average of 64-bit integers. * * @since 2.0.0 */ class LongAccumulator extends AccumulatorV2[jl
spark2.3源码分析之TaskSetManager
lzf的博客
11-15 684
概述 TaskSetManager调度一个TaskSet内的所有task。它会跟踪每个task，并在task失败时重试直至一定的次数；通过延迟调度为它的TaskSet执行locality-aware调度。TaskSetManager有2个主要的方法： resourceOffer()方法：该方法会判断TaskSet是否想要运行某个task在某个节点上。 statusUpdate()方法：该方法...
LongAdder、LongAccumulator、DoubleAdder、DoubleAccumulator 深入源码解析
键盘上流淌的日子
06-22 8064
  LongAdder、LongAccumulator、DoubleAdder、DoubleAccumulator是JDK1.8提供的针对long和double的累加器实现，依赖于Striped64实现，LongAdder和DoubleAdder只针对数值的增减，LongAccumulator和DoubleAccumulator针对自定义函数的增减。   演示示例：   首先，新建一个线程类，负责模拟多线程环境下，对LongAdder、LongAccumulator、DoubleAdder、DoubleAc
原子操作类使用以及源码分析
m0_71149992的博客
07-07 439
注意：使用 TimeUnit.SECONDS.sleep 让主线程进行阻塞 ，在生产环境中及其不规范 使用CountDownLatch 来解决这个问题
深入理解Spark 2.1 Core （四）：运算结果处理和容错的原理与源码分析
yang灬仔
09-06 336
在上一篇博文《深入理解Spark 2.1 Core （三）：任务调度器的实现与源码分析 》TaskScheduler在发送任务给executor前的工作就全部完成了。这篇博文，我们来看看当executor计算完任务后，Spark是如何处理获取的计算结果与容错的。 调用栈如下： TaskSchedulerImpl.statusUpdate TaskResultGetter.enqueueSuc...
leetcodelrucache-algorithm:算法学习和练习
06-30
jdk.longaccumulator 计数器 jdk.threadlocal DateFormatService： 如何线程安全的使用 SimpleDateFormat jdk.volatilex VolatileArrays： volatile 例子 jdk.collection.union JDK： javaAPI 方式 取得集合的交并集...
java8的DoubleAccumulator使用.docx
01-07
看了一下资源都没有java8新特性DoubleAccumulator的使用例子，所以分享一下这个的使用另外的其他3个类工具的使用类似DoubleAdder，LongAccumulator，LongAdder
java环境部署
JiuMeilove的博客
06-04 422
如果你电脑已经下载了 jdk ，那你可以跳过这一步了我这里下载的是java21 你们可以选择自己需要下载的游览进去的页面是这样子的（相比以前这个页面发生很大变化了），可以看见目前 jdk 已经发行到 17 了，jdk 它又分了三个个操作系统，一个是 Linux、一个是 macOS、以及 windows，如果你是在 windows 操作系统上，那当然就下载 windows 对应的 jdk，其次的话就是还会区分你操作系统的处理器是 32 位的还是 64 位的，可以点击 我的电脑 - 属性 查看。
java中Overload和Override的区别
codedadi的博客
06-04 626
当调用Dog对象的makeSound方法时，将执行Dog类中的方法，而不是Animal类中的方法。定义：在子类中，有一个与父类同名、同参数列表、同返回类型（或协变返回类型）的方法，则称子类中的该方法为父类同名方法的重写。子类方法的访问权限不能低于父类方法的访问权限（如父类方法为public，则子类方法也必须是public）。Override（重写）：子类与父类之间，方法名、参数列表和返回类型（或协变返回类型）相同。定义：在同一个类中，方法名相同但参数列表（参数类型、参数数量或参数顺序）不同的多个方法。
JavaScript第九讲：BOM编程
星途码客的博客
06-04 1464
今天星途给大家带来JavaScript倒数第二部分知识：BOM编程，希望对码客们有帮助。
C语言数字全排列生成器
最新发布
a15884871479的博客
06-05 719
这个代码的功能是生成并打印出从1到N的所有整数的全排列，并计算总共有多少种排列方式
JVM内存管理
joedan0104的专栏
06-05 224
2.JVM内存怎么分区？为什么要进行分区管理？3.分区数据怎么管理？
解释这段代码 def dropNullAndDropDuplicates(spark: SparkSession, df: DataFrame, schema: StructType, dropKeys: Seq[String], duplicateKeys: Array[String]): (LongAccumulator, LongAccumulator, LongAccumulator, DataFrame) = { val schemaFieldNames: Array[String] = schema.fieldNames if (dropKeys.exists(!schemaFieldNames.contains(_)) || duplicateKeys.exists(!schemaFieldNames.contains(_))) { return (null, null, null, null) } val lineCount: LongAccumulator = spark.sparkContext.longAccumulator("lineCount") val trash: LongAccumulator = spark.sparkContext.longAccumulator("trash") val duplicate: LongAccumulator = spark.sparkContext.longAccumulator("duplicate") val df1: DataFrame = df.select( df.columns.map(name => col(name).as(name.trim.toLowerCase)): _* ) val df1FieldNames: Array[String] = df1.schema.fieldNames val df2: DataFrame = { var tmp: DataFrame = df1 schema.fieldNames.filterNot(df1FieldNames.contains).foreach( fieldName => tmp = tmp.withColumn(fieldName, lit(literal = null)) ) tmp.select( schema.fields .map(structField => tmp.col(structField.name).cast(structField.dataType)): _* ) }.withColumn(colName = "index", monotonically_increasing_id()) val df3: DataFrame = df2.filter(row => { lineCount.add(1) if (dropKeys.exists(key => row.get(row.fieldIndex(key)) == null)) { trash.add(1) false } else { true } }) val df4: DataFrame = df3.groupByKey(row => duplicateKeys.map(key => row.get(row.fieldIndex(key)).toString).mkString("-") )(Encoders.STRING).reduceGroups((row1, row2) => { duplicate.add(1) val defect1 = row1.toSeq.count(_ == null) val defect2 = row2.toSeq.count(_ == null) if (defect1 < defect2) row1 else if (defect1 > defect2) row2 else if (row1.getLong(row1.fieldIndex(name = "index")) > row2.getLong(row1.fieldIndex(name = "index"))) row1 else row2 }).map(_._2)(RowEncoder(df3.schema)) .toDF .drop("index") (lineCount, trash, duplicate, df4) }
03-08
函数接受 SparkSession、DataFrame、StructType、Seq[String] 和 Array[String] 五个参数，返回一个元组，包含三个 LongAccumulator 和一个 DataFrame。具体实现过程为：先判断传入的 dropKeys 和 duplicateKeys ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值