spark
Amos_Mu
这个作者很懒,什么都没留下…
展开
-
Spark中如何将IP地址转换成十进制数字
//定义一个方法将IP地址转换成十进制数字def ip2Long(ip: String): Long = {val fragments = ip.split("[.]")var ipNum = 0Lfor (i <- 0 until fragments.length){ipNum = fragments(i).toLong | ipNum << 8L}...原创 2018-07-05 12:05:24 · 1244 阅读 · 0 评论 -
spark 转换和行动算子
1.RDD转换算子 RDD根据数据处理方式的不同将算子整体分为Value类型,双Value类型,key-value类型一 、Vlaue类型: (1)map 函数说明: 将处理的数据逐条进行映射转换,这里的转换可以是类型的转换,也可以是值的转换 (2)mapPartitions 函数说明: 将待处理的数据以分区为单位发送到计算节点进行处理,这里的处理是指可以...原创 2021-04-28 00:20:56 · 966 阅读 · 0 评论