大数据课程K22——Spark的SparkSQL的API调用

已于 2023-09-06 17:34:21 修改
阅读量646 收藏
点赞数
文章标签： 大数据 spark 分布式
于 2023-09-05 21:47:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013955758/article/details/132567604
版权

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 掌握Spark的通过api使用SparkSQL；

一、通过api使用SparkSQL

1. 实现步骤

1. 打开scala IDE开发环境，创建一个scala工程。

2. 导入spark相关依赖jar包。

3. 创建包路径以object类。

4. 写代码。

5）打jar包，并上传到linux虚拟机上

6）在spark的bin目录下

执行：sh spark-submit --class cn.tedu.sparksql.Demo01 ./sqlDemo01.jar

7）最后检验

2. 代码示例

package cn.tedu.sparksql

最低0.47元/天 解锁文章
伟雄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL API
xiaoxionghanhan的博客
11-16 664
Spark SQL架构 Spark SQL是Spark的核心组件之一（2014.4 Spark1.0） 能够直接访问现存的Hive数据 提供JDBC/ODBC接口供第三方工具借助Spark进行数据处理 提供了更高层级的接口方便地处理数据 支持多种操作方式：SQL、API编程 支持多种外部数据源：Parquet、JSON、RDBMS等 SparkContext SQLContext：Spark SQL的编程入口 HiveContext：SQLContext的子集，包含更多功能 SparkSession（Spa
SparkSQLAPI
最新发布
m0_51388399的博客
05-06 268
SparkSQL对数据的落地保存使用api为：spark.write.save()，需要指定数据的落地格式，因为和read的默认格式一样，save的默认格式也是parquet，需要在write和save之间指定具体的格式format(format)。spark.read.format(数据文件格式).load(path)这个方式有更加清晰的简写方式，比如要加载json格式的文件：spark.read.json(path)。可以采用SaveMode执行存储操作，SaveMode定义了对数据的处理模式。
Spark SQL API -- DSL
赤兔胭脂小吕布的博客
03-11 110
Spark SQL API DSL 代码 --> DSL <-- SQL package com.shujia.sql import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.{DataFrame, SparkSession} object Demo5DSL { def main...
Spark(六) SQL API
得克特
10-22 188
汇总 Spark SQL和DataFrames的重要类： pyspark.sql.SparkSession DataFrame和SQL功能的主要入口点。 pyspark.sql.DataFrame 分布式数据集合，分为命名列。 pyspark.sql.Column DataFrame的列表达式。 pyspark.sql.Row DataFrame的行表达式。 pyspark.sql.Group...
[Spark][spark_sql]#3_SparkSQL API
PigCircle
10-29 172
SparkSession import org.apache.spark.sql.{DataFrame, SparkSession} bject SparkSessionApp { def main(args: Array[String]): Unit = { // DF/DS编程的入口点 val spark: SparkSession = SparkSession.b...
CounterBags.X_PIC18F46K22_
10-01
Counter bag use sensor and rotary to detect
dlq.rar_pic18f87k22
09-20
利用PIC18F87K22单片机进行参数检测。并将检测到的参数通过zigbee发送出去。同时现场LCD显示检测参数的值。
CO.rar_CO_pic18f67k22_project
09-24
pic18f67k22-co project
GPIO_TEST.X_pci18f46k22_
09-29
pic18f46k22 GPIO example code
UART_TEST.zip_PIC18F45K22_mplab x
09-24
开发环境MPLAB X 1.41 ,MCU PIC18F45K22，完成RS485的收发字符串功能。
SparkSQL的jdbc操作及java的api操作
03-19
关于SparkSQL的jdbc操作及java的api操作的Idea maven工程代码。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF
qq_43192537的博客
12-01 691
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF
编写SparkSQL的API
Faded1573606285的博客
11-11 142
IDEA中程序的打包和运行方式都和SparkCore类似，Maven依赖中需要添加新的依赖项： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.1....
SparkSql常用API
weixin_37901366的博客
07-14 424
【代码】SparkSql常用API。
spark sql核心API整理
勇敢前行,一路向前
03-22 542
核心API: sparkSession: spark入口 统一封装SparkConf,SparkContext,SQLContext, 配置运行参数,读取文件,创建数据,使用SQL Dataset: 统一Dataset接口,其中DataFrame==Dataset[Row] 基本实现了类似RDD的所有算子 column: Dataset的列对象 包括对列操作的基本函数 ROW : DataFrame的行对象 包括对行操作的基本函数 Encoder : 序列化 支持常用的数据...
1３ | Spark SQL 的 DataFrame API
微信号：RunsenLiu
09-03 760
DataFrame 是 Spark SQL 中的核心数据结构，它是一个分布式的带有命名列的数据集，类似于传统数据库表或 Pandas 数据帧。DataFrame API 提供了多种操作和转换方法，包括选择、过滤、分组、聚合、连接等，用于处理和分析数据。：将数据按照一个或多个列进行分组，然后对每个组进行聚合操作（如计数、平均值、总和等）。：连接两个或多个 DataFrame，可以进行内连接、外连接等不同类型的连接操作。：选择一个或多个列以构建新的 DataFrame。：将多个列的值合并成一个新的列。
15 | Spark SQL 的 SQL API 操作
微信号：RunsenLiu
09-03 944
Spark SQL 允许使用标准 SQL 语句来查询和分析数据。用户可以通过 SparkSession 执行 SQL 查询，并将结果返回为 DataFrame。这使得熟悉 SQL 的用户能够方便地使用 Spark SQL 进行数据处理。
Spark SQL（二）：DataFrame APIs
YFater的博客
10-28 862
文章目录一.输入与输出1.DataFrameReader.csv 一.输入与输出 方法 概述 DataFrameReader.csv(path[, schema, sep, …]) 加载一个CSV文件并以DataFrame的形式返回结果。 DataFrameReader.format(source) 指定输入数据源格式。 DataFrameReader.jdbc(url, table[, column, …]) 构造一个 DataFrame，它表示通过 JDBC URL 和连接属性可
pic18f46k22编程软件
05-15
PIC18F46K22是Microchip公司推出的一款高性能8位微控制器，主要应用于工业控制、汽车电子、医疗电子等领域。PIC18F46K22具有多种通信接口、强大的计算能力和低功耗优势，广泛应用于各个领域。 PIC18F46K22的编程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值