Spark SQL/Hive SQL

Spark SQL/Hive SQL与SQL的关系

SQL:Structured Query Language,用于对关系型数据库进行操作的标准化语言。不同数据库对应不同类型的SQL。

Spark SQL/Hive SQL:Spark使用的数据存储是Hive,因此Spark SQL即Hive SQL,具有其自身的一些标准和使用方法。

HSQL与普通SQL的区别

  1. HSQL不支持等值链接,即不能省略join,如:
    SQL中内关联可以这样写: select * from a , b where a.key = b.key
    Hive中应该这样写: select * from a join b on a.key = b.key
  2. HiveQL中String类型的字段若是空(empty)字符串, 长度为0, 那么其is null的判断结果是False,使用left join可以进行筛选行
  3. HQL不支持行级别的增insert into、改update、删delete,Hive仅支持覆盖重写整个表:insert overwrite 表 (重写覆盖)
  4. HSQL支持写入分区
  5. Hive表与数据库不同,hive存在重复记录,需要distinct
  6. spark sql在select from时需指定database.tablename,普通SQL只需要select from tablename。(在join on table1.feature = table2.feature时都不需要指定database)。

Hive,HDFS,Hadoop,MapReduce的关系

  1. MapReduce:一种计算模式
  2. Hadoop:实现了MapReduce模式的分布式计算的开源框架
  3. HDFS:Hadoop的分布式文件系统
  4. HIve:对HDFS上数据进行分析管理的数据仓库架构,将HDFS的文件映射为table,在hive数据仓库生成对应目录,并提供基于HSQL的数据查询功能,将SQL转化为MapReduce操作,完成复杂的数据分析工作。

Hadoop和Spark的区别和联系

  1. 联系:Hadoop和Spark都是分布式数据处理的架构
  2. 区别:Hadoop基于HDFS文件系统,每次从磁盘读取数据,进行一次数据处理后写入磁盘,再读取;Spark从磁盘中读取数据,中间结果以rdd形式存储在内存中,因此Spark速度更快,而Hadoop容错性更高。

数据类型

除rdd外,Spark SQL提供了一种DataFrame(此处与Python中的dataframe不同,两者有不同的属性和操作)。
DataFrame是存放row对象的RDD,每个Row对象代表一行记录。
DataFrame:
7. 使用SQL创建DataFrame
df=spark_session.sql(‘sql’)
8. 将rdd转化为df
df = rdd.toDF()
9. df创建视图(类似数据表)
view=df.createOrReplaceTempView(‘viewName’)
10. 将最终的查找结果(df)写入hive
df.write.format(“hive”).mode(“append”).partitionBy(‘date’).saveAsTable(table_name)

rdd:

  1. 将df转化为rdd
    rdd1=df.rdd.repartition(200)
  2. 调用函数返回新的rdd
    rdd2=rdd1.mapPartitions(function)

Hsql函数

数组函数

  1. array_contains(数组,值):判断某值是否在数组中
  2. array_intersect(数组,数组):返回两个数组的交集
  3. size(数组):返回数组内元素个数,可判断数组是否为空(不可以用array != []判断)
  4. locate(子字符串,字符串):返回子字符串位于字符串的index>0,如果不存在则返回0,可用于判断是都存在该子字符串
  5. Lateral view + explode(数组):把数组字段拆分成以元素为字段的不同行
> select 
>     distinct company_id,download 
>     from
>     	company_to_host LATERAL VIEW explode(download_host_set) adTable as download
  1. sort_array(数组):返回元素排序后的数组

字符串函数

  1. String (not) in (str1,str2,…):判断字符串是否在这些字符串中
  2. substring(str, ‘/’, index):返回str的第index个’/'之前的子字符串
  3. cast(something as string):将其他类型的字段转化为string类型
  4. levenshtein(str1,str2):编辑距离

优化查询

  1. 多个表先后join时,先join小表(过滤条件比较多的表),再join大表
  2. Hive表与数据库不同,hive存在重复记录,需要distinct
  3. 检查是否存在数据倾斜,将数据量特别大的特殊key排除
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark SQLSpark生态系统中的一个模块,用于在Spark中进行结构化数据处理。它提供了一个类似于SQL的查询语言,可以用于查询和操作数据。Spark SQL还提供了DataFrame API,可以用于以编程方式查询和操作数据。 Spark SQL on HiveSpark SQL的一个扩展,它允许Spark使用Hive元数据存储和查询数据。这意味着Spark可以使用Hive的表和分区,以及Hive的UDF和UDAF函数。Spark SQL on Hive还支持Hive的查询语言HQL。 因此,Spark SQLSpark SQL on Hive的区别在于Spark SQLSpark生态系统中的一个独立模块,而Spark SQL on HiveSpark SQL的一个扩展,它允许Spark使用Hive元数据存储和查询数据。 ### 回答2: Spark SQLSpark生态系统中的一个模块,它提供了一种用于Spark的交互式查询和分析数据的方式。Spark SQL支持不同的数据源,包括Hadoop HDFS,Apache Cassandra和Apache Hive。同时,Spark SQL还支持在SQL查询之外使用DataFrame API进行编程。 Spark SQL on Hive是指在Spark SQL中使用Hive数据源进行数据查询和分析。在使用Spark SQL on Hive时,Spark将会利用Hive的元数据和查询优化器来提高查询性能。这使得Spark SQL on Hive在企业环境中是一种极为常见的部署方式。 Spark SQLSpark SQL on Hive的主要区别在于数据源和优化器。Spark SQL可以与各种不同的数据源进行交互,而Spark SQL on Hive主要使用Hive元数据和优化器来处理数据。此外,Spark SQL也可以使用自己的优化器,它针对Spark SQL的特点进行了优化和改进。 另一个区别是在处理大规模数据时,Spark SQLSpark SQL on Hive表现更好。这是因为Spark SQL使用了自己的内存管理和优化策略,可以将大量的计算分布到多个节点上,从而处理更快、更高效。 综上所述,Spark SQLSpark SQL on Hive都是非常强大并且受欢迎的Spark模块,它们都具有广泛的应用和不同的优势。选择哪种模块取决于具体应用场景和需求。 ### 回答3: Spark SQLSpark 内置的一种 SQL 接口,用于操作分布式数据集(由 RDD 或 Spark 数据源构建)。Spark SQL 提供了一个 SQL 编程界面和 DataFrame API,让其与 SQL 数据仓库和传统数据仓库类似。 Spark SQL on Hive 是一个构建在 Hive 之上的 Spark SQL 解决方案。它允许 Spark SQL 直接操作 Hive 的数据仓库,使用 Hive 的方言(HiveQL)和元数据。Spark SQL on Hive 可以通过 Spark 操作 Hive 仓库来提供 SQL 查询和 HiveQL 查询功能。 由于 Spark SQL on Hive 是构建在 Hive 之上的,因此它提供了很多 Hive 的优点,比如先进的查询优化和元数据管理功能。它使用HDFS作为存储层,通过优化和管理查询计划来提高性能。 而 Spark SQL 直接使用 Spark 原生的内存计算引擎,不需要依赖于 Hive 的元数据解析和查询计划优化。这使得 Spark SQL 具有更好的实时性能和灵活性,可以直接在内存中操作数据。 总的来说,Spark SQL on Hive 主要是为了兼容 Hive 所提供的,而 Spark SQL 则是相对独立的一种 SQL 操作方式,更适合实时处理和大数据量的计算场景。Spark SQL on Hive 更适合用于传统的数据仓库和 BI 应用场景,而 Spark SQL 更适合用于实时数据处理和机器学习等高性能计算场景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值