使用Sparksql求数据库表中单列字段中出现次数最高的值，以及出现的次数

最新推荐文章于 2021-01-25 09:08:33 发布
最新推荐文章于 2021-01-25 09:08:33 发布
阅读量2.3k 收藏
点赞数
分类专栏： Sparksql 文章标签： Sparksql 求最常出现的值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linke1183982890/article/details/83273250
版权

该方法是基于Sparksql的内置函数进行计算
我先上代码：
在这里插入图片描述
dataset和columnName作为参数，dataset是什么就不说了，columnName就是我要执行的字段名
首先通过dataset.groupBy(columnName)对该字段进行分组，再count(dataset.col(columnName))进行聚合，count中的参数必须是Column类型的，然后通过alias()取一个别名，collectAsList()返回Row泛型的集合
最后进行遍历，只要get(1)比getValue值大，就将get(1)赋值给getValue,get(0)赋值给getKey,
其中getValue就是该值出现的次数，getKey就是最常出现的那个值

linke1183982890
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何用一条sql 查询出今天的数据条数和昨天数据条数_SQL学习笔记（二）——SQL语法...
weixin_39788382的博客
12-05 2192
一、简单查询1. 基本查询 1、基本查询语句 SELECT <列名1>,<列名2>,... FROM 表名;示例： SELECT 姓名,性别 FROM student; 2、为列设定别名 SELECT 姓名 as name,性别 as '人物性别' FROM student;3、删除重复数据1)DISTINCT 只用于一列前面 SELECT DISTINCT 姓名 AS '...
SQL计算某一值连续出现的最大次数
雅冰石的专栏
08-11 9992
root@127.0.0.1 : test > select * from itpub1;  +------+------+ | id | name | +------+------+ | 1 | 1 | | 2 | 1 | | 3 | 1 | | 4 | 1 | | 5 | 2 | | 6 | 2 | | 7 | 1 | | 8 | 1 | +------+------+
sql 查看某字段出现多次的数据
weixin_45732391的博客
10-25 4622
sql 查看某字段出现多次的数据 select * from 表 where 字段 in( select 字段 from 表 group by 字段 having count(0)>1) 附：先分组后统计，就可以查到字段多次出现的数据。
SQL 查询重复出现次数最多的记录，按出现频率排序(SQL语句)
热门推荐
冯索的专栏
07-18 5万+
在有些应用里面，我们需要查询重复次数最多的一些记录， SELECT keyword, count( * ) AS count FROM article_keyword GROUP BY keyword ORDER BY count DESC LIMIT 20 此段查询语句返回 article_keyword 表中 keyword 重复次数（count） 最多的20条记录。 SELEC
sql查询出现次数最多的记录的名称和现次数以及QT聚合查找失败解决
卖炫迈的小男孩的博客
12-02 1793
最近在做一个qt项目，数据库SQL语句这东西，有段时间没用了，然后就会遗忘某些知识。比如聚合查找。 sql查询出现次数最多的记录的名称和现次数 有一个表：client 需求：查找表中出现次数最多的药品mno名称，和最高销量（出现次数） 1.最高销量： select top 1 count(*) as counts from client group by mno order by counts 查询结果： 2.最高销量的药品mno名称 select top 1 mno, count(*) as cou
数据库中sql语句得到同一个字段多次出现的数据
Beautifulcoco的博客
08-12 1759
比如有两列数据，想把姓名相同的多条数据搜索并显示出来 sql如下 SELECT id, NAME, count(*) AS mu FROM zyc. USER GROUP BY NAME HAVING mu > 2; 这样就得到名字叫张三的多条数据，字段及限制条件可以按照具体的需求来分析 ...
pandas 透视表中文字段排序方法
09-19
在pandas中，透视表是通过`pivot_table()`函数创建的，它可以将数据按照指定的行、列和值进行汇总，形成表格结构。例如，如果你有一份包含学生信息的数据，包括年级（一年级、二年级等）和成绩，你可以使用透视表来...
PHP获取数组中单列值的方法
10-19
在本文中，我们将详细介绍PHP中如何获取数组中单列的值，重点讲解array_column()函数的使用方法。array_column()函数是PHP 5.5版本后引入的一个数组函数，它能够从输入的多维数组中提取出一列的值，并且可以根据需要...
MySQL 从一张表update字段到另外一张表中
09-10
当你需要将一张表中的某些字段值复制并更新到另一张表时，可以利用SQL的JOIN语句或者子查询来实现。这个过程通常涉及到多表关联，确保正确匹配源数据和目标数据。在MySQL 4.0及以上版本中，这样的功能变得更加灵活。...
oracle系统表详解(中文).docx
11-29
这些系统表提供了关于数据库对象、用户、权限、空间使用以及性能等全方位的信息。以下是对这些表的详细解释： 1. **dba_users**: 这个表包含了数据库中所有用户的详细信息，如用户名（USERNAME）、用户ID（USER_ID...
基础电子中的单列直插式集成电路引脚识别
11-24
在电子技术领域，单列直插式集成电路（Single In-Line Package，SIP）是一种常见的封装形式，它在很多初级和中级电子系统中被广泛应用。这种封装方式的特点是引脚沿着集成电路的一个侧面整齐排列，便于插入电路板上...
Spark分组取TopN
yangshaojun1992的博客
03-16 463
1、对文本文件中的数字，获取最大的前三个。 代码实例： package com.netcloud.spark.sparkcore.projectpractice; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java....
Spark DataFrame统计某列特征不同个数
Buevara的博客
03-19 1万+
Scala版本 import spark.implicits._ var data1 = Seq( ("0", "2002", "196", "1", "bai"), ("1", "4004", "192", "2", "wang"), ("0", "7007", "95", "3", "wang"), ("0", "4004", "4", "4", "wang"), ("0...
spark count统计元素个数
跟我一起去征服
05-03 9403
太简单了，直接上代码，不解析 public static void myCount(){         SparkConf conf=new SparkConf()         .setMaster("local")         .setAppName("myCount");         JavaSparkContext sc=new JavaSparkContext(
Scala Spark 求众数
power0405hf的专栏
12-14 4755
1.数据格式1 2 3 1 4 5 4 5 6 4 7 8 7 8 9 10 11 12 10 13 14 10 1 2 1 100 100 10 11 2 10 11 2 1 2 5 4 7 62.程序val conf = new SparkConf().setAppName("Mode") conf.setMast
spark 根据某一列统计_机器学习（三）基本的统计工具
weixin_29359133的博客
01-25 624
同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/ml-ml3/给定一个数据集，数据分析师一般会先观察一下数据集的基本情况，称之为汇总统计或者概要性统计。一般的概要性统计用于概括一系列观测值，包括位置或集中趋势（比如算术平均值、中位数、众数和四分位均值），展型（比如四分位间距、绝对偏差和绝对距离偏差、各阶矩等），统计离差，分布的形状，依赖性...
Spark经典案例6-求top值
yjgithub的博客
02-08 2561
求topN
spark 按照key 分组 然后统计每个key对应的最大、最小、平均值思路——使用groupby，或者reduceby...
djph26741的博客
07-12 938
What you're getting back is an object which allows you to iterate over the results. You can turn the results of groupByKey into a list by calling list() on the values, e.g. example = sc.para...
Spark SQL 函数全集
Liam's Blog (AI & BigData)
03-23 4万+
Summary org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Dataframe，Dataset。 version 2.3.0 大部分支持Colum...
生成一个mysql数据库查询表单列中数据的代码
最新发布
06-09
生成MySQL数据库查询表单列中数据的代码可以使用以下SQL语句： ``` SELECT column_name FROM table_name WHERE condition; ``` 其中，`column_name`是查询的列名，`table_name`是查询的表名，`condition`是查询的条件。 如果要使用Python代码来执行这个查询，可以使用MySQL驱动程序，并编写如下代码： ```python import mysql.connector # 连接MySQL数据库 mydb = mysql.connector.connect( host="localhost", user="yourusername", password="yourpassword", database="yourdatabase" ) # 创建游标对象 mycursor = mydb.cursor() # 执行查询语句 mycursor.execute("SELECT column_name FROM table_name WHERE condition") # 获取查询结果 myresult = mycursor.fetchall() # 输出查询结果 for x in myresult: print(x) ``` 其中，`yourusername`、`yourpassword`、`yourdatabase`需要替换为实际的数据库用户名、密码和数据库名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值