Spark SQL和Spark Streaming简介

最新推荐文章于 2024-07-24 22:35:05 发布
最新推荐文章于 2024-07-24 22:35:05 发布
阅读量2.9k 收藏 4
点赞数
分类专栏： Spark Hive MySQL 大数据 文章标签： spark streaming sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxfghy/article/details/80969097
版权
本文介绍了Spark SQL的DataFrames和DataSets数据类型，强调了其兼容性、高性能和可扩展性，以及包括内存列存储和字节码生成在内的性能优化技术。Spark SQL的运行架构和与Hive的集成也被提及。接着，文章转向Spark Streaming，讨论了其数据输入输出、实时处理特性、DStream的概念以及如何将实时数据流转换为RDD块进行处理。最后，提供了Spark SQL和Spark Streaming的代码实现示例。
摘要由CSDN通过智能技术生成

1. Spark SQL

  • 用于处理结构化数据,提供SQL语句查询的API接口
    Spark数据访问
SparkSQL数据类型DataFrames
  1. 这种数据类型支持结构化的数据文件,Hive中的表,外部数据库和已存在的RDD
  2. 该接口在Python, R, Java, Scala中都是可用的
SparkSQL数据类型DataSets
  1. Spark 1.6中添加的新接口
  2. 不支持Python
SparkSQL特点
  1. 兼容好
    兼容Hive,支持RDD,JSON文件等数据源,支持nosql数据库数据
  2. 性能高
    含有多种性能优化技术
  3. 扩展强
    SQL的语法解析,分析和优化都可自定义
SparkSQL性能优化技术
  1. 内存列存储In-Memory Columnar Storage
    优化空间占用量和读取吞吐率
  2. 字节码生成bytecode generation
    优化所有的SQL表达式,通过scala运行时放射机制实现
SparkSQL运行架构
  1. SQL语句解析(parse),找出查询项和数据源等
  2. SQL语句与数据库的数据字典绑定(bind),判断是否可执行
  3. 对提供的多种执行计划进行优化(optimize)
  4. 实际执行(execute)
    SQL语句执行
包含sqlContext和hiveContext两个分支
  1. sqlContext不支持hive查询语句
  2. hiveContext是SQLContext子类,支持hql查询
SparkSQL代码实现

spark-shell

val rdd1=sc.textFile("/demo.txt")# 读取hdfs文件
val rdd2=rdd1.map(_.split</
最低0.47元/天 解锁文章
翱翔的江鸟
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkStreaming与SparkSql整合使用
weixin_39400271的博客
10-13 1294
SparkStreaming的数据是DStream的形式，本质上是RDD类型数据，而SparkSql则是DataFrame的数据类型，所以要使用DataFrame，就需要创建SparkSession会话。SparkStreaming和SparkSession的创建都会用到SparkConf，为了一致性，所以两者需要公用一个SparkConf。 一、创建一个SparkSession...
example-spark：Spark，Spark Streaming和Spark SQL单元测试策略
02-06
`example-spark`项目针对Spark、Spark Streaming和Spark SQL提供了全面的单元测试策略，以确保这些组件的功能正确性以及性能表现。以下是对这些测试策略的详细说明。 首先，Spark的核心是分布式数据处理，因此单元...
Spark SQL 在SparkStreaming中的运用
我是小坏
09-14 1821
文章内容参考地址：  http://spark.apache.org/docs/2.3.0/streaming-programming-guide.html#dataframe-and-sql-operations 你可以使用SparkStreaming 中使用的SparkContext 来创建一个SparkSession   ，每个RDD 被转换成一个DataFrame，注册为临时表，然后使...
Spark学习之SparkSQL
m0_58050808的博客
07-16 781
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
Spark SQL+Spark Streaming案例
大唐帝国—前营
11-10 2197
package SparkStreaming import org.apache.spark.SparkConf import org.apache.spark.sql.{Row, SQLContext} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import
大数据Hadoop之——Spark SQL+Spark Streaming
匠人精神，持之以恒！
12-25 2620
文章目录一、Spark SQL概述二、SparkSQL版本1）SparkSQL的演变之路2）shark与SparkSQL对比3）SparkSession三、RDD、DataFrames和DataSet1）三者关联关系1）RDD1、核心概念2、RDD简单操作3、RDD API1）Transformation2）Action4、实战操作2）DataFrames1、DSL风格语法操作1）DataFrame创建2、SQL风格语法操作3）DataSetRDD，DataFrame，DataSet互相转化四、RDD、Da
Spark（四）————SparkSQL和SparkStreaming
Jorocco的博客
07-05 4774
1、什么是SparkSQL SparkSQL模块能构建在Spark上运行sql语句，主要有DataFrame（数据框、表），它类似于构建在hadoop上的hive以及构建在hbase上的pheonix用于进行sql交互。 使用类似SQL方式访问hadoop，实现MR计算。 df = sc.createDataFrame(rdd); DataSet&amp;lt;Row&amp;gt; === Data...
Spark 学习之路，包含 Spark Core，Spark SQL，Spark Streaming，Spark mllib 学
05-15
Spark 学习之路，包含 Spark Core，Spark SQL，Spark Streaming，Spark mllib 学习笔记 * [spark core学习笔记及代码 * [spark sql学习笔记及代码 * [spark streaming学习笔记及代码 Spark 消息通信 ### Spark ...
基于Scala的Spark RDD、Spark SQL、Spark Streaming相关Demo设计源码
03-28
这是一个基于Scala语言开发的Spark RDD、Spark SQL、Spark Streaming相关Demo，包含35个文件。主要文件类型包括29个Scala...该项目提供了Spark中RDD、SQL和Streaming的相关示例，适合用于学习和实践Spark编程技术。
Spark SQL操作大全.zip
03-24
Spark SQL广泛应用于数据仓库、实时数据分析、机器学习模型的训练和评估等场景，通过与Spark Streaming、MLlib等组件结合，可以构建复杂的大数据分析解决方案。 通过深入学习并实践《Spark SQL操作大全》中的内容...
spark core、spark sql以及spark streaming 的Scala、java项目混合框架搭建以及大数据案例
09-10
包中构建了Java以及Scala混合框架的maven打包框架以及关于spark core，spark sql 、spark streaming的一些典型案例或者算子使用。
Spark Streaming无状态转换操作之transform的使用
FlatTiger的博客
03-31 372
有状态转换和无状态转换的区别 Spark Streaming中，如果该操作可以同时对不同批次的数据进行处理，就是有状态转换。如果该操作只能对每个批次中的数据依次进行处理，不同批次之间的数据不进行运算，就是无状态转换。 transform功能 可以对每个批次中的DStream封装的RDD进行操作，可以直接使用RDD的算子。 代码 def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().set
Spark：Spark SQL、Spark Streaming
あずにゃん梓喵的博客
06-16 964
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） spark 入门 课程目标： 了解spark概念 知道spark的特点（与hadoop对比） 独立实现spark local模式的启动 1.1 spark概述 1、什么是spark 基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。 2、为什么要学习spark MapReduce框架局限性.
SparkSQL 学习笔记---SparkStreaming
weixin_42102379的博客
05-28 207
一、大数据实时计算原理 二、Spark Streaming 1、SparkStreaming简介 Spark Streaming是SparkCore API的一种扩展，可以用于进行大规模，高吞吐，容错的实时数据流的处理，支持从很多数据源中读取数据， 必粗Kafka,FlumeTwitter,ZeroMQ或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据的处理，比如map、r...
Spark Streaming 结合Spark SQL 案例
qq_18219755的博客
06-09 807
第97课：Spark Streaming 结合Spark SQL 案例 作者：lqding1980 2018-04-13 来源：51CTO 代码如下： package com.dt.spark.streaming import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkContext, SparkConf} im...
Spark学习(12)之流式计算SparkStreaming中的sparkSql
枣泥馅的博客
01-21 799
我们可以使用sparkSql来计算实时流中离散的RDD，通过把DStream转化成DF， 然后在创建视图，再使用SparkSession执行标准的sql语句就可以。通过下面代码，我们可以发现这里创建DataFrame和以前的稍微有点差别，通过直接给DF指定字段来创建DataFrame的结构，这个指定的字段要和RDD中的结构对应 import org.apache.spark.SparkConf import org.apache.spark.streaming.StreamingContext import
sparkstreaming sparkstreaming整合sparksql
a3125504x的博客
09-07 398
sparkstreaming整合sparksql示意图代码 示意图 sparkstreaming实时处理DStream，SparkSQL批处理DataFrame sparkstreaming处理的DStream内部封装有RDD，通过.toRDD将DStream转换成RDD SpqrkSQL处理的DataFrame内部同样封装有RDD，DataFrame通过注册成表，被SparkSQL处理 所以本质上SpqrkSQL处理的还是DStream 代码 import org.apache.spark.Spar
Spark组件(sql,streaming)及spark优化
最新发布
2403_83630621的博客
07-24 962
appName("udf自定义函数")//当你配置了hdfs等一些配置文件，那么默认读取路径是hadoop的，否则是本地.load("/bigdata30/students.csv")//读取路径是hadoop// df1.select($"id",$"name",concat(expr("'数加:'"),$"name") as "new_name").show()// concat(expr("'数加:'"),$"name")//对姓名做拼接。
请阐述Spark Structured Streaming与Spark SQL 和Spark Streaming
05-09
Spark Structured Streaming、Spark SQL 和 Spark Streaming 都是Apache Spark的不同组件，用于处理大规模数据集。 Spark Structured Streaming是一种基于Spark SQL的流处理引擎，可以将流数据视为无限表格，并在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值