- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark2.X之累加器
文章目录前言一、累加器的作用二、使用步骤1.引入类2.代码解析总结 前言 通常在向 Spark 传递函数时，比如使用 map() 函数或者用 filter() 传条件时， 可以使用驱动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变 量的一份新的副本，更新这些副本的值也不会影响驱动器中的对应变量。这时使用累加器就可以实现我们想要的效果。 提示：以下是本篇文章正文内容，下面案例可供参考 一、累加器的作用 累加器支持在所有不同节点之间进行累加计算(比如计数、求和、集合累积)。 二、使用步骤 1..
2022-03-01 22:01:12
1604
原创 将ip转为长整型
import scala.math.pow def ipToLong(ip:String): Long= { var addrArray = ip.split("\.") var num: Long = 0 for (i <- 0 until addrArray.size) { var power = 3 - i num += ((addrArray(i).toInt % 256 * pow(256, power).toLong)) } num }
2021-08-22 16:46:01
110
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人