【spark】八 自己实现 RDD中 某列 累计百分比确定阈值

最新推荐文章于 2021-08-10 10:58:27 发布
最新推荐文章于 2021-08-10 10:58:27 发布
阅读量1k 收藏 2
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010720408/article/details/89922383
版权

需求：统计出一天的用户中，登录1次的用户56422次，登录2次的49422，一直到登录N次的，用户为1个末尾，大多数用户都是正常用户，只会登录最多几十次，现在需要规定阈值设定就是有0.05%的坏人比例，根据该比例来划分登录异常次数的阈值。即按照登录次数升序，用户数量达到99.95%的列作为判定坏人的阈值

数据样例（含实现数据）

time login_cnt user_cnt user_cnt_add percenter
190315 1 56422 56422 56422/sum
190315 2 49422 105844 105844/sum
190315 3 36422 142266 142266/sum
190315 4 20000 162266 162266/sum
…… …… …… …… ……
190315 200 20 300020 300020/sum
…… …… …… …… ……
190315 400 2 301022 301022/sum
最低0.47元/天 解锁文章
百物易用是苏生
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在RDD上执行描述性统计操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-02 730
大数据实验教学系统在RDD上执行描述性统计操作Spark 对包含数值数据的 RDD 提供了一些描述性的统计操作。 Spark 的数值操作是通过流式算法实现的，允许以每次一个元素的方式构建出模型。这些统计数据都会在调用stats()时通过一次遍历数据计算出来，并以StatsCounter对象返回。掌握RDD的描述性统计实现方法。1、在RDD上执行描述性统计操作。包括： 7. 实验器材（设备、虚拟机名称）： 硬件：x86_64 ubuntu 16.04服务器 软件：JDK 1.8，Spark-2.3.2，Had
如何找到使用中位数星火(How to find median using Spark)
huobanjishijian的专栏
10-28 1977
 问 题 How can I find median of a rdd of integers using a distributed method, IPython, and Spark? The rdd is approximately 700,000 elements and therefore too large to collect and find the medi
百分之一阈值
強雲的博客
03-15 126
def PrecentThreshold(image, percent): """ Threshold the hishest n precent of pixel in the image INPUT: image, precent OUTPUT: The image after the threshold """ number = np.size(image) index = int(number * precent) [hist, bin
php计算rgb直方图,计算直方图方法
weixin_32139169的博客
03-23 320
直方图(Histogram)，又称质量分布图，是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据类型，纵轴表示分布情况。简单来讲的话，以8位灰度图为例256个灰度等级，直方图统计就是计算相同像素值总数，C语言中可以用一维数组来暂存直方图数据(long hist[256])。具体统计方法也比较简单，有图像地址pimage,图像宽度imageWidth,图像高...
Spark-sql 计算某行值占累加总数的百分比
baifanwudi的专栏
08-11 9955
先看原数据结构和数据样例 SparkSession spark=SparkSession.builder().master("local[*]").getOrCreate(); Dataset<Row> table=spark.read().json("src/main/data/transfer_line_count.json"); table.printSchema(...
Spark学习笔记之Spark中的RDD的具体使用
08-25
Spark学习笔记之Spark中的RDD的具体使用 本文主要介绍了Spark学习笔记之Spark中的RDD的具体使用，通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。 知识点一：RDD的概念和特点 * RDD...
Spark RDD详解
01-07
它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何Hadoop InputFormat中的数据。它旨在执行批处理(类似于MapReduce)和提供新的工作特性，例如流计算，SparkSQL...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
实验中首先安装了 Spark 和其依赖项，然后通过 RDD 编程实现了 wordcount 的功能。最后，通过 Spark 编程实现了 wordcount Scala 程序，并对实验结果进行了分析。 知识点一：Spark 安装 * 在 Windows 环境下安装 ...
浅谈Spark RDD API中的Map和Reduce
01-10
RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，...
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt 文件，内容如下： 1,zhangsan,20 2,lisi,21 3,wanger,19 4,...
Hive最常用的函数大全
大数据同盟会的博客
08-10 3019
1、把固定日期转换成时间戳 select unix_timestamp('2020-05-29','yyyy-MM-dd') --返回结果 1590681600 select unix_timestamp('20200529','yyyyMMdd') --返回结果 1590681600 select unix_timestamp('2020-05-29T13:12:23Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") --返回结果 1590729143 select unix_time
【OpenCV入门教程之十四】OpenCV霍夫变换：霍夫线变换，霍夫圆变换合辑
热门推荐
【浅墨的游戏编程Blog】毛星云（浅墨）的专栏
05-26 12万+
本篇文章中，我们一起探讨了OpenCV中霍夫变换相关的知识点，以及了解了OpenCV中实现霍夫线变换的HoughLines、HoughLinesP函数的使用方法，实现霍夫圆变换的HoughCircles函数的使用方法。此博文一共有四个配套的简短的示例程序，其详细注释过的代码都在文中贴出，且文章最后提供了综合示例程序的下载。 先尝鲜一下其中一个示例程序的运行截图：
sparkStreming开窗函数---统计一定时间内单词出现的次数
qq_41458071的博客
06-01 199
object SparkStreamingTCPWindow { def main(args: Array[String]): Unit = { //配置sparkConf参数 val sparkConf = new SparkConf().setAppName("SparkStreamingTCPWindow").setMaster("local[2]") //构建sparkContext对象 val sc = new SparkContext(sparkConf) ...
OpenCV4学习笔记（28）——图像霍夫变换（霍夫直线检测、霍夫圆检测）
邱小兵的博客
03-17 1297
今天要整理的笔记内容是：图像的霍夫变换。那么，什么叫做霍夫变换呢？这里引用百度百科上 “霍夫变换” 词条的解释： 霍夫变换是一种特征检测(feature extraction)，被广泛应用在图像分析（image analysis）、计算机视觉(computer vision)以及数位影像处理(digital image processing)。霍夫变换是用来辨别找出物件中的特征，例如：线条。他的...
用分布定阈值
決心的专栏
06-28 4933
做算法，尤其是数据挖掘，经常会有需要根据数据计算指标，但是指标计算出来确无法快速选取初始阈值的情景。 最近在做新闻内容方面的关键词（高相关性词）提取（不是热点词提取！这有些区别的，热点词要具备热度的时间衰减，本次提取不关心这点）。 目前程序实现了卡方检验结合词频，tf×idf两种。 最初用卡方检验时，对于p和另一个属性词频，我是采用逐步降低标准和观察词汇质量来调整的。 但是在做tf×idf时
pyspark 实现对列累积求和
XnCSD的博客
05-29 1万+
pyspark 实现对列累积求和 pandas 的 cumsum() 函数可以实现对列的累积求和。使用示例如下： import pandas as pd data = [1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0] data = pd.DataFrame(data, columns=['diff']) data['cumsum_num'] = data['diff'].cums...
spark对list中各元素的累加
weixin_41052159的博客
04-13 2642
def kpi_general(baseData: RDD[(String, String, List[Double],String,String)]) = { baseData.map(tp => (tp._1, tp._3)).reduceByKey((list1, list2) => { list1.zip(list2).map(tp => tp._1 ...
Spark取出(Key,Value)型数据中Value值为前n条数据
dai451954706的专栏
09-26 1万+
Spark对(Key,Value)型数据进行排序，并取出Value值为前n的数据
【spark rdd编程】求和
我的笔记
07-20 2944
int counter = 0; JavaRDD<Integer> rdd = sc.parallelize(data); // Wrong: Don't do this!! rdd.foreach(x -> counter += x); println("Counter value: " + counter);
Spark RDD 算子详解：实现原理与执行流程分析
下面是 Spark 1.4.1 中一些常用的 RDD 算子和它们的实现原理。 1. take(num: Int)：take 算子用于从 RDD 中取出指定数量的元素。其实现原理是，Spark 会将 RDD 划分为多个分区，然后从每个分区中取出指定数量的元素...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值