SparkSQL03

一、External Data Source API外部数据源

1、各数据源加载数据概要介绍

MapReduce Hive Spark

加载数据:

(1)格式:json、parquet、text、jdbc......+压缩

(2)FileSystem:

HDFS:hdfs://......

HBase:

S3(亚马逊):S3a:// 

OSS(对象存储):

(3)HDFS join MySQL:

旧:sqoop MySQL to HDFS 再join

新:Spark一句代码

(4)加载数据技术发展

raw data ==> Ext DS API ==> DataFrame/Dataset    

Core

SQL

Streaming

MLlib

....   

 ==> RDD ==> DataFrame/Dataset 

DF/DS是打通整个Spark生态栈的利器

(4)可以转为DataFrame的格式

json、csv、hdfs、hive、jdbc、s3、parquet、es、redis、cassandra、hbase.......

通过external data sourceAPI转为DF

(5)分为两大类

build-in:直接调用

3th-party:https://spark-packages.org/    

--jar外部的包进来

(6)好处

 read:

spark.read.format("csv/json/com.ruoze.com.XXX").load()

 write:

df.write.format("").save() 

2、以spark-csv为例看如何导SparkSQL不支持的数据源

(1)https://spark-packages.org/package/databricks/spark-csv

(2)GAV方式导入--packages

(3)spark-shell命令介绍

通常还要指定--classpath 

(4)优缺点

优点:灵活

缺点:集群不能上网,很可能无法到maven库里下载。所以要打包成jar,然后--jars进来。

(5)csv特性

3、读取parquet文件

(1).read.load()先读取json文件

说明.read.load()方法默认读取parquet文件

spark.read.load("file:///opt/app/spark-2.3.2/spark-2.3.2-bin-2.6.0-cdh5.7.0/examples/src/main/resources/people.json").show

(2)读parquet文件

spark.read.load("file:///opt/app/spark-2.3.2/spark-2.3.2-bin-2.6.0-cdh5.7.0/
examples/src/main/resources/users.parquet").show

(3)分析.read.load()方法

所以该方法默认读取的文件格式是parquet

(4)指定.read.load()方法指定的默认文件格式

官网:

(5)读取parquet后SparkSQL的schema结构

users.printSchema()

(6)将当前parquet文件中的两行数据输出成text文件

users.select("name","favorite_color").write.format("text")
  .option("compression","none")
  .save("/opt/tmp/spark/parquet/")

意义:

很多时候读取进来都不可能是你想要的格式,你可以转为自己想要的格式

(7)解决转格式文件已存在的情况

第一种方法:

第二种方法:

4、操作JDBC的数据

HBinz001下的表emp读取到SparkSQL

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop002:3306/hbinz001").option("dbtable", "emp").option("user", "root").option("password", "123456").load()

报错:

(1)重启Spark-shell,指定--driver-class-path

成功启动。

(2)第二种方法,加多个option字段

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop002:3306/hbinz001").option("dbtable", "emp").option("user", "root").option("password", "123456").option("driver","com.mysql.jdbc.Driver").load()

5、Hive/SparkSQL跟MySQL做join

spark.sql("show tables").show

spark.sql("select * from dept").show

dept:Hive/SparkSQL

emp:mysql

(1)spark.table(" 表名")

spark内置方法直接将Hive表转为DF

(2)将两个表转为DF

(3)join

empDF.join(deptDF,empDF.col("deptno") === deptDF.col("deptno")).show()

(4)分区如何处理

哪一行

最小分区幅度

最大分区幅度

多少个分区

6、/spark-sql处理以上问题

(1)Spark-sql读JDBC的数据

官网:

CREATE TEMPORARY VIEW emp_mysql

USING org.apache.spark.sql.jdbc

OPTIONS (

  url "jdbc:mysql://hadoop002:3306/hbinz001",

  dbtable "emp",

  user 'root',

  password '123456'

)

SELECT * FROM emp_mysql 

(2)true的意思

是否临时表的意思(当前session才可以看得到临时表)

二、写出文件

1、将empDF写出到MySQL

官网:

empDF.write.format("jdbc").option("url", "jdbc:mysql://hadoop002:3306/hbinz001").option("dbtable", "test_emp").option("user", "root").option("password", "123456").save()

2、报错

driver找不到方法

.option导入Driver

.option("driver","com.mysql.jdbc.Driver")

如果想表存在的时候仍覆盖就再加个.mode("overwrite")

 3、原表和新表的结构对比

test_emp:

emp:

个别字段变化了,如果想自定义新表的字段格式的话可以再加以下参数:

// Specifying create table column data types on write
jdbcDF.write
  .option("createTableColumnTypes", "name CHAR(64), comments VARCHAR(1024)")
  .jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties)

三、数据处理流程

1、数据传输、处理流程的几种方式

第三种处理方法最优:

列示存储-计算-传输

2、数据倾斜怎么导致

shuffle

3、小文件

小文件会导致HDFS压力骤增

四、Spark如何构建外部数据源,底层剖析

1、BaseRelation

作用:加载外部数据源的数据,定义数据的schema信息

Represents a collection of tuples with a known schema. Classes that extend BaseRelation must

be able to produce the schema of their data in the form of a `StructType`. 

(1)传schema信息,带StructType类型

(2)抽象类,需要子类实现功能

(3)

2、RelationProvider

作用:产生Relation

(1)createRelation()方法

(2)parameters:传的是option的那些东西

3、Scan

作用:如何更有效的读取外部数据源的数据

(1)TableScan

没有任何条件,意味着整表扫描,扫出来转成RDD[Row]

(2)PrunedScan

(3)PrunedFilteredScan

(4)CatalystScan

4、Insert

(1)InsertableRelation

扫描数据源之后,写入数据

5、以JDBCRelation为例讲解底层

继承了BaseRelation,可以传schema信息

继承了PrunedFilteredScan,按列扫描的同时可以过滤

继承了InsertableRelation,可以写数据,.write方法

(1)BaseRelation的实现

分别实现这两个方法

(2)PrunedFilteredScan的实现

(3)InsertableRelation的实现

6、JdbcRelationProvider

7、幂等性问题 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。【项目资源
### 回答1: 好的,下面是SparkSQL代码笔记03——连接Hive的中文回复: 在SparkSQL中,我们可以通过以下步骤连接Hive: 1. 首先,需要在SparkSession中启用Hive支持,可以使用以下代码: ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("SparkSQL Hive Example") \ .config("spark.sql.warehouse.dir", "/user/hive/warehouse") \ .enableHiveSupport() \ .getOrCreate() ``` 其中,`enableHiveSupport()`方法启用了Hive支持,`config("spark.sql.warehouse.dir", "/user/hive/warehouse")`指定了Hive元数据存储的目录。 2. 接下来,我们可以使用`spark.sql()`方法执行Hive SQL语句,例如: ``` spark.sql("show databases").show() ``` 这将显示所有的Hive数据库。 3. 如果需要在SparkSQL中访问Hive表,可以使用以下代码: ``` df = spark.sql("select * from my_hive_table") ``` 其中,`my_hive_table`是Hive中的表名。 4. 如果需要在SparkSQL中创建Hive表,可以使用以下代码: ``` spark.sql("create table my_hive_table (id int, name string)") ``` 这将在Hive中创建一个名为`my_hive_table`的表,包含两个列:`id`和`name`。 以上就是连接Hive的基本步骤。需要注意的是,连接Hive需要在Spark集群中安装Hive,并且需要将Hive的JAR包添加到Spark的CLASSPATH中。 ### 回答2: SparkSQL是Apache Spark的一个组件,它提供了用于分布式数据处理的高级SQL查询引擎。SparkSQL支持连接多种数据源,其中之一就是Hive。 如何连接Hive? 在开始连接Hive之前,我们需要确保Hadoop和Hive的配置已经被正确的设置好了,以便Spark能够访问Hive元数据和数据。 首先,我们需要在Spark环境中添加Hive支持。运行下面的代码: `from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("hive_support") \ .enableHiveSupport() \ .getOrCreate()` 其中,`.enableHiveSupport()`将启用hive支持。 接下来,我们可以使用SparkSession连接Hive。运行下面的代码: `hive_df = spark.sql("SELECT * FROM default.student")` 其中,“default”是Hive的默认数据库,“student”是Hive数据库中的表名。 如果你要访问非默认的Hive数据库,可以使用下面的代码: `hive_df = spark.sql("SELECT * FROM dbname.student")` 其中,“dbname”是非默认的Hive数据库名。 我们还可以使用HiveContext来连接Hive。运行下面的代码: `from pyspark.sql import HiveContext hive_context = HiveContext(sc)` 其中,“sc”是SparkContext对象。 我们可以像这样从Hive中检索数据: `hive_df = hive_ctx.sql("SELECT * FROM default.student")` 现在你已经成功地连接Hive并从中检索了数据,你可以使用SparkSQL的强大功能对数据进行分析。而在连接Hive之外,在SparkSQL中还可以连接其他数据源,包括MySQL、PostgreSQL、Oracle等。 ### 回答3: Spark SQL是一个强大的分布式计算引擎,它可以支持处理多种数据源,并可通过Spark SQL shell、Spark应用程序或JDBC/ODBC接口等方式进行操作。其中,连接Hive是Spark SQL最常用的数据源之一。下面,将介绍如何通过Spark SQL连接Hive。 1、在Spark配置中设置Hive Support 要连接Hive,首先需要在Spark配置中开启Hive Support。在启动Spark Shell时,可以添加如下参数: ``` ./bin/spark-shell --master local \ --conf spark.sql.warehouse.dir="/user/hive/warehouse" \ --conf spark.sql.catalogImplementation=hive \ --conf spark.sql.hive.metastore.version=0.13 \ --conf spark.sql.hive.metastore.jars=maven ``` 这里以本地模式为例,设置Spark SQL的元数据存储在本地文件系统中,设置Hive为catalog实现,以及为Hive Metastore设置版本和JAR文件路径。根据实际情况,还可以指定其他参数,如Hive Metastore地址、数据库名称、用户名和密码等。 2、创建SparkSession对象 在连接Hive之前,需要先创建SparkSession对象。可以通过调用SparkSession.builder()静态方法来构建SparkSession对象,如下所示: ``` val spark = SparkSession.builder() .appName("SparkSQLTest") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate() ``` 这里通过builder()方法指定应用程序名称、元数据存储路径以及启用Hive Support,最后调用getOrCreate()方法创建SparkSession对象。 3、通过Spark SQL操作Hive表 通过Spark SQL连接Hive后,就可以通过Spark SQL语句来操作Hive表了。例如,我们可以使用select语句查询Hive表中的数据: ``` val df = spark.sql("SELECT * FROM tablename") df.show() ``` 其中,select语句指定要查询的列和表名,然后通过show()方法来显示查询结果。 除了查询数据之外,Spark SQL还可以通过insertInto语句将数据插入到Hive表中: ``` val data = Seq(("Alice", 25), ("Bob", 30)) val rdd = spark.sparkContext.parallelize(data) val df = rdd.toDF("name", "age") df.write.mode(SaveMode.Append).insertInto("tablename") ``` 这里先创建一个包含数据的RDD对象,然后将其转换为DataFrame对象,并指定列名。接着,通过insertInto()方法将DataFrame对象中的数据插入到Hive表中。 总之,通过Spark SQL连接Hive可以方便地查询、插入、更新和删除Hive表中的数据,从而实现更加灵活和高效的数据处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值