基于spark的Scala编程—DataFrame操作之select

最新推荐文章于 2024-07-02 15:14:20 发布
最新推荐文章于 2024-07-02 15:14:20 发布
阅读量6.3k 收藏 8
点赞数 1
分类专栏： Spark/Hadoop
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/wgh1015398431/article/details/103151802
版权
本文探讨了在Scala中使用Spark DataFrame的select方法，包括如何创建SparkSession，转换RDD为DataFrame，以及select的不同用法。重点指出select("key1")支持SQL语法表达式，而select("key1")仅限于字段名。还提到了SparkSQL内置的丰富函数，分为10类，用于增强数据处理能力。
摘要由CSDN通过智能技术生成

本文主要是写关于Scala如何操作spark的DataFrame，本文先介绍select的用法，详细请看下面的步骤，以下所有的代码都是在IntelliJ Idea里面编写并且远程调试的。

先创建sparksession对象，代码如下：

    val conf = new SparkConf().setAppName("LzSparkDatasetExamples").setMaster("local")
    val sparkSession = SparkSession.builder().enableHiveSupport().config(conf).getOrCreate()

创建一个DataFrame对象，代码如下：

    // 这里一定要加这一行导入，否则toDF会报错
    import sparkSession.implicits._
    val df = sparkSession.createDataset(Seq(
      ("aaa", 1, 2),
      ("bbb", 3, 4),
      ("ccc", 3, 5),
      ("bbb", 4, 6)
    )).toDF("key1",
最低0.47元/天 解锁文章
心相印-Garrett
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pandas.DataFrame.select_dtypes() 根据数据类型筛选列 详解 含代码 含测试数据集 随Pandas版本持续更新
数象限
01-04 1512
本文基于 pandas2.2.0 编写。随着pandas的stable版本更迭，本文持续更新，不断完善补充。
select报错 spark_Scala Spark DataFrame: DataFrame.select 传入可变参数的方法
weixin_39733943的博客
12-23 463
Scala Spark DataFrame: DataFrame.select 传入可变参数的方法22 January 2018今天遇到个简单的错误，在这里与大家分享下。测试脚本如下：import org.apache.spark.sql.{SparkSession, DataFrame}val spark = sparkSesssion.builder.getOrCreate()import s...
Scala中DataFrame查询，合并多列（使用数组列表等不定列查询）
You_are_my_Mr_Right的博客
05-21 2392
1.通过数组，列表select()方法 2.合并表中部分指定多列 3.删除多列 没啥好说，代码如下： object Demo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Demo").setMaster("local") val sparkSession = SparkSession.builder().config(conf).enableHiveSuppo.
从0开始学习pyspark--Spark DataFrame数据的选取与访问[第5节]
最新发布
甜盐的博客
07-02 680
在PySpark中，选择和访问数据是处理Spark DataFrame的基本操作。以下是一些常用的方法来选择和访问DataFrame中的数据。
手把手教你学之golang反射（上）
QQ1528884535的专栏
09-11 379
原文作者：柔顺的灵魂 来源：简书github地址作为静态语言，golang稍显笨拙，还好go的标准包reflect（反射）包弥补了这点不足，它提供了一系列强大的API，能够根据执行过程中...
Spark---DataFrame学习(二)——select、selectExpr函数
热门推荐
stan1111的博客
08-01 2万+
select：处理列或表达式 selectExor：处理字符串表达式 数据集格式如下： 有三个字段，目的国家、出发国家、count 一.select 从df中选择列的方式， 1.DataFrame.select(“列名”)，参数是列名的字符串格式。想要选出多列，可以用相同方式添加更多列名 小技巧：传入"*"选择所有列。 2.通过函数选择列 这些函数有DataFrame.col(“列名”)、col(“列名”)、column(“列名”)、expr（“列名”）；以及两种scala特有的语言支持，$“列名
[Spark][Python]DataFrame select 操作例子
weixin_30667649的博客
10-05 491
[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 In [4]: peopleDF.select("age")Out[4]: DataFrame[age: bigint] In [5]: myDF=people.select("age")-------------------------------------------------------------...
(转载)Spark sql之DataFrame基本操作
Buevara的博客
08-07 1068
1、创建DataFrame 本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下: val spark = SparkSession .builder() .appName("Spark SQL basic example") .enableHiveSupport() //.config("spark.some.config.op...
SparkSQL DataFrame Select时传入可变参数
Java大数据
01-18 1935
最近有个新需求用到spark动态读取数据源，因数据源列名通过json传入，而且业务场景是只用DataFrame做不好用SQL处理。 一开始错误代码示例： val ds: Dataset[String] = sparkSession.read.textFile("input/user.txt","input/traffics.txt") ds.show(20) val result = ds.map(x=>{ val str = x.split(" ") (
基于spark的Scala编程—DataFrame操作之filter和where
心相印的专栏
11-20 7727
本文主要是写关于Scala如何操作spark的DataFrame，本文先介绍filter的用法，详细请看下面的步骤，以下所有的代码都是在IntelliJ Idea里面编写并且远程调试的。 先创建sparksession对象，代码如下： val conf = new SparkConf().setAppName("LzSparkDatasetExamples").setMaster("loc...
Spark-特征选择（scala）
徐先森的博客
05-12 3066
spark特征选择-ChiSqSelector
Spark -总结5-DataFrame的select和selectExpr的区别
99滴神
06-26 1197
select：数据DataFrame的方法，是从df中选择列的方式 selectExpr: 可以对指定字段进行特殊处理，比如指定别名或者对指定字段调用UDF函数等，也就是说它可构建复杂的表达式 其实select与selectExpr函数具有一样的功能效果 ...
spark.dataframe的一些常用操作(Scala)
Daverain的博客
10-01 1万+
前言 说起dataframe，大家一般会首先想起pandas.dataframe。随着数据科学越来越火热，大部分同学都使用过python去进行一些数据科学的实践，也应该会对dataframe的简单易用颇有好感。 然而pandas只能用于处理单机问题，面对工业级的海量数据处理和计算，就显得无能为力。 spark作为分布式计算框架，在工业界占据了比较主流的地位。spark同样也提供了dataframe...
spark数据查询语句select_使用复杂类型查询SparkSQLDataFrame
weixin_31837543的博客
12-30 846
它取决于列的类型。让我们从一些虚拟数据开始：import org.apache.spark.sql.functions.{udf, lit}import scala.util.Trycase class SubRecord(x: Int)case class ArrayElement(foo: String, bar: Int, vals: Array[Double])case class Rec...
Select Sort in scala
Void of Void
08-17 554
Below I written a simple select sort in scala, just for record something. object SelectSort { /* Return the index of the minimum element in the given array, index range [left, right]
Spark（15）：SparkSQL之DataFrame
yang_shibiao的博客
07-06 913
这里的 spark 不是 Scala 中的包名，而是创建的 sparkSession 对象的变量名称，所以必须先创建 SparkSession 对象再导入。这里的 spark 对象不能使用 var 声明，因为 Scala 只支持val 修饰的对象的引入。如果是数字，默认作为 Int 处理；但是从文件中读取的数字，不能确定是什么类型，所以用 bigint 接收，可以和Long 类型转换，但是和 Int 不能进行转换。注意：普通临时表是 Session 范围内的，如果想应用范围内有效，可以使用全局临时表。
spark学习之sparksql中dataframe的常用函数
Carnation_s的博客
10-11 3235
SparkSql-DataFrame 一、DataFrame的相关方法 1、show 作用：展示数据 show(numRows:Int,truncate:Boolean) show(numRows:Int) numRows：表示展示的行数（默认展示20行） Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true 2、collect 作用：获取一个dataframe的里面的数据 形成的是一个数组 注意：返回的是一个array 适用于数据量比较小的场景
Spark/Scala/SparkSQL问题记录：使用Scala语言遍历DateFrame/DataSet数据集里的每一行、每一列
u010290051的博客
11-21 1万+
在贴代码之前先介绍一下DataFrame与DataSet，以下介绍内容来自以下博客：https://www.cnblogs.com/seaspring/p/5831677.html DataFrame DataFrame是一个分布式集合，其中数据逻辑存储结构为有名字的列。它概念上等价于关系数据库中的表，一个列名对应很多列值，但底层做了更多的优化。DataFrame可以从很多数据源构建，比如：已...
scala获取dataframe某个值
04-24
你可以使用DataFrame的`select`和`collect`方法来获取DataFrame中的某个值。下面是一个使用Scala获取DataFrame中值的示例： ``` import org.apache.spark.sql.SparkSession object Main { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("ScalaDataFrameExample") .master("local") .getOrCreate() import spark.implicits._ val data = Seq( (1, "John"), (2, "Jane"), (3, "Joe") ) val df = data.toDF("id", "name") val name = df.select("name").where("id = 2").collect()(0)(0) println(name) } } ``` 这个示例中，我们先创建了一个包含id和name两列的DataFrame，然后使用`select`方法选择了名为"name"的列，并使用`where`方法过滤了id等于2的行。最后，我们使用`collect`方法将结果收集到本地，并通过索引获取第一个元素的第一个值，即"name"列中id等于2的行的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值