day04-HiveSQL

于 2024-09-13 08:00:00 发布
阅读量331 收藏 8
点赞数 17
文章标签： 大数据 数据库 hive sql 数据库架构 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxwwudi/article/details/142186887
版权

day04-HiveSQL

一、映射表

1-1 数据的分类

根据数据的结构形式，可以将数据分为三类

  • 结构化数据
    • 表数据
      • 表的元数据
        • 字段名、字段类型、字段约束、表的名字等等
      • 表的行数据
        • 表中一行一行的数据内容
id （int）name（string）age（int）
1张三20
2李四22
3王五18
  • 半结构化数据
    • 没有数据类型的约束
  • xml 数据
<user>
	<id> 1 </id>
    <name> 张三 </name>
    <age> 20 </age>
</user>
  • josn 数据
{
    "id":1,
    "name":"张三"
    "age":20,
    
}
  • 结构化数据
    • 文本
    • 图片
    • 视频
    • 音频

1-2 结构化数据

结构化数据本质就是一张表数据

  • 两部分组成
    • 表的元数据（字段名，字段类型，字段约束，表的名字等等）
    • 表的行数据（表中实际存储的内容）

结构化数据支持SQL语法操作

SQL ： Structure Query Language 结构化查询语言，SQL语法就是对结构化数据的操作

SQL通过 表的元数据 获取表的相关数据内容

select 字段名 from 表名

select 字段名,sum(字段名) from 表名 group by 分组字段名

元数据：描述数据的数据

50

50 代表的含义是什么？
原本 50 是没有含义的，他只是冰冷冷的数字
但是如果他是
age 50
weight 50

50 便有了含义，含义的本身也是数据
age weight，他们叫做元数据

1-3 映射表

数仓中的数据是在 hdfs 中以文件的方式存储起来，属于非结构化数据
那如何使用 SQL 操作非结化数据？
Hive 可以将非结构化的文本数据转为结构化数据，也就是表数据

二、Hive架构

在这里插入图片描述

三、Hive服务启动及连接

3-1 服务启动

Hive 服务启动钱需要保证 hadoop 服务全部启动

start-all.sh

Hive 在使用时，需要启动两个服务

注意启动顺序

  • Metastore 服务
    • 管理 Hive 表的元数据，实现元数据的查询和保存
nohup hive --service metastore &
  • hiveserver2 服务
    • 提供了 JDBC 连接接口
nohup hive --service hiveserver2 &

在这里插入图片描述

查看服务启动情况

jps

在这里插入图片描述

hiveserver2 启动的时间会比较长，如何确认hiveserver2是否真正启动？
hiveserver2 使用的是 10000 端口，可以查看 10000 端口是否被占用，然后确认是否启动

lsof -i:10000

在这里插入图片描述

四、Hive的DDL语法

Hive 中支持https://cwiki.apache.org/confluence/display/Hive/LanguageManual

  • DDL语法（Data Definition Language - 数据定义语言）

    • 主要是进行定义/改变表的结构、数据类型、表之间的链接等操作
    • 库表的创建

  • DML语法（Data Manipulation Language - 数据操纵语言）

    • 主要是对数据进行增加、删除、修改操作
    • 对表的元数据的修改调整
      • 增加字段
      • 修改字段
      • 删除字段

  • DQL语法（Data Query Language - 数据查询语言）

    • 主要是对数据进行查询操作
    • select的查询计算
DDLDML
名称数据定义语言数据操纵语言
区别对数据库内部的对象进行创建、删除、修改操作只是对表内部数据进行操作 (不涉及到表的定义、结构的修改，也不涉及到其他对象)

4-1 库的创建

  • 格式
create database 数据库名

-- 数据库的创建
create database itcast;

-- 创建数据库时进行判断，如果存在则不创建，不存在则创建
create database if not exists itheima;

在这里插入图片描述

在这里插入图片描述

4-2 库的切换

  • 格式
-- 直接命令切换
use 数据名

-- DataGrip图像化界面操作

在这里插入图片描述

在这里插入图片描述

4-3 库的删除

  • 格式
drop database 数据库名

-- 删除空数据库
drop database itheima; 

-- 强制删除，如果库下已经存在表，则不能直接删除，要使用cascade 
drop database itcast cascade; 

-- 判定是否已经被删除 
drop database if exists itcast;

4-4 表的创建

  • 格式
create table 表名(
	字段名 字段类型 comment '字段描述',
    字段名 字段类型,
    ...
) comment '表描述'
  • 字段类型
  • 整数数据 int || bigint
  • 小数数据 float || decimal
  • 字符串类型 string
  • 日期类型 date
  • 日期时间类型 timestamp
-- 表的创建 
-- 如果已经切换了数据库，可以直接指定表名 
create table tb_stu1( 
   id int comment '用户id', 
   name string comment '用户姓名', 
   height float  comment '用户身高', 
   brithday date comment '生日' 
)comment  '用户表'; 

-- 如果没有切换数据库，可以在指定数据库下创建表 
create table itcast.tb_stu2( 
   id int comment '用户id', 
   name string comment '用户姓名', 
   height float  comment '用户身高', 
   brithday date comment '生日' 
)comment  '用户表'; 

-- 建表是判断表是否已经创建 
create table if not exists itcast.tb_stu3( 
   id int comment '用户id', 
   name string comment '用户姓名', 
   height float  comment '用户身高', 
   brithday date comment '生日' 
)comment  '用户表';

4-5 表的数据写入

追加写入数据

  • 格式
-- 写入数据
insert into 表名(字段)  values(数据) 

-- 写入其它表数据
insert into 表名(字段)  select 字段 from 表 

-- 数据写入(写在一行也没关系，我这里分行了)
insert into tb_stu1(id,name,height,brithday) 
values(1,'张三',1.75,'2002-10-10'); 

-- 如果对所有字段进行数据写入可以省略字段 
insert into tb_stu1 
values(2,'李四',1.75,'2002-10-11'); 

-- 如果需要将一张表的数据写入另一张表 
-- 将tb_stu1表中的数据进行查询然后写入tb_stu2,注意查询的数据字段要和写入的字段保持一致 
insert into tb_stu2  select * from tb_stu1; 

-- 查看数据 
select * from tb_stu1; 
select * from tb_stu2;

覆盖写入

  • 格式
insert overwrite table 表名(字段)  values(数据) 

insert overwrite table 表名(字段)  select 字段 from 表

-- 覆盖写入数据 
insert overwrite table tb_stu1 values (3,'王五',1.75,'2002-10-11'); 
insert overwrite table tb_stu2 select * from tb_stu1; 
select * from tb_stu1; 
select * from tb_stu2;

数据文件上传数据表目录

hive 的表最终是将数据保存在 hdfs 中

默认的保存路径： /user/hive/warehouse/数据库/数据表/数据文件

在这里插入图片描述

在这里插入图片描述

查询表的时候，会从 hdfs 的表目录中读取对应的数据文件，进而获取表的每一行数据

所以，创建完表后，可以将一个已经存在的数据文件直接上传表目录中

如果使用一个已经存在的文件作为表的数据文件，则需要再建表时指定字段的分割符

1.有一个数据文件

1,张三,20,男 
2,李四,22,男 
3,王五,25,男

在这里插入图片描述

  1. 根据文件中的数据类型，创建对应表，并且指定分隔符
create table tb_stu4( 
    id int, 
    name string, 
    age int, 
    gender string 
)-- 指定字段分隔符 
row format delimited fields terminated by ',';
  1. 将数据文件上传到表的目录下（此处为网页端操作 hdfs ）

在这里插入图片描述

  1. 查询数据
select * from tb_stu4;

4-6 表的删除

数据清空

  • 只是清空行数据，表的元数据依旧存在
-- 清空表中的数据
truncate table tb_stu4;

-- 再次查询检测是否清空
select * from tb_stu4;

删除表

  • 删除表的所有数据
-- 删除表
drop table tb_stu4;

五、Hive表的分类

  • 内部表
    • 默认创建表时就是创建的内部表
    • drop 删除内部表时，会将内部表中所有数据删除
  • 外部表
    • 创建外部表需要指定 external 关键字
    • drop 删除外部表时，只删除表的元数据，hdfs 上的文件行数不删除
    • 一般用于 数据共享表，比较安全
  • 外部表的创建格式
create external table 表名(
	字段名 字段类型 comment '字段描述',
    字段名 字段类型,
    ...
) comment '表描述'

-- 创建外部表 
create external table tb_stu4( 
    id int, 
    name string, 
    age int, 
    gender string 
)-- 指定字段分隔符 
row format delimited fields terminated by ','; 

-- 查询外部表
select * from tb_stu4;
  • 建表后如何查看一张表的元数据？（怎么看是不是外部表）
--- 查看表信息
desc formatted tb_stu4;

在这里插入图片描述
在这里插入图片描述

内部表删除

在这里插入图片描述

在这里插入图片描述

外部表删除

在这里插入图片描述

在这里插入图片描述

六、Hive的中文乱码

在 hive 的表的元数据中如果出现中文，或将中文识别为乱码

比如在 comment 中进行了中文描述

在这里插入图片描述

hive 表的元数据是在 mysql 中存储，所以需要对 mysql 数据进行修改调整

DataGrip 连接完 mysql 后（此处省略了DataGrip连接mysql操作），执行以下配置命令

use hive3; 
alter table COLUMNS_V2 modify column COMMENT varchar(256) haracter set utf8; 
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) haracter set utf8; 
alter table PARTITION_PARAMS modify column PARAM_VALUE archar(4000) character set utf8; 
alter table PARTITION_KEYS modify column PKEY_COMMENT archar(4000) character set utf8; 
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) haracter set utf8;

已经创建过的表，不会改变，新创建的表才会显示

在这里插入图片描述

七、Hive表的数据拆分

  • hive 表的数据量较大时，如果进行数据的查询，那查询的速度会比较慢

  • 进行 hive 数据存储时可以将数据拆分，把数据存储在不同的位置中，进而提升查询速度

  • 如果所有数据都在一个文件下存储，查询效率太低，所以需要进行数据的拆分

7-1 Hive的数据拆分

  • 方法一：通过分区形式进行拆分（可以理解为分类）
    • 将数据拆分到不同的目录（文件中）中
  • 方法二：通过分桶形式进行拆分
    • 将数据拆分到不同的文件中
  • 要想实现两种方式，需要在建表时指定创建 分区表 或者创建为 分桶表

7-2 分区表使用

  1. 创建一个原始数据表

在这里插入图片描述

create table tb_stu6 ( 
    id int, 
    name string, 
    gender string, 
    age int, 
    cls string 
)-- 指定分割符 
row format delimited fields terminated by ',';
  1. 上传数据文件（网页端 HDFS 操作）

在这里插入图片描述

  1. 创建分区表
create table tb_stu_partition( 
    id int, 
    name string, 
    gender string, 
    age int, 
    cls string 
)-- 指定分区字段  分区字段名不能和表中的字段名一样 
partitioned by(dt string) 
-- 按照,号分割存储数据 
row format delimited fields terminated by ',';
  1. 分区数据写入
    • 在写入分区数据时，需要指定一个分区的依据字段
-- 向分区表中写入数据，在写入数据时，会按照数据内容进行分区 
-- 需要在 select 指定分区字段按照哪个字段的数据内容进行拆分，将需要拆分字段放在最后 
-- 需要设置分区数据写入 
set hive.exec.dynamic.partition.mode=nonstrict; 
insert into tb_stu_partition partition(dt) select *,cls from tb_stu6;

在这里插入图片描述

  1. 查看拆分的数据目录

在这里插入图片描述

在这里插入图片描述

不能对中文字段的内容进行分区操作，不然会失败

如果一定要对中文字段进行分区，可以将中文数据进行转化

男 – 1 女 – 2

7-3 分桶表使用

  1. 创建分桶表
create table tb_stu_bucket( 
    id int, 
    name string, 
    gender string, 
    age int, 
    cls string 
)-- 指定分桶字段，分桶字段必须是表中存在的字段 
clustered by(cls) into 3 buckets -- into 3 buckets 表示将数据拆分成几个文件 
-- 按照,号分割存储数据 
row format delimited fields terminated by ',';
  1. 写入数据
insert into tb_stu_bucket select * from tb_stu6;
  1. 查看分桶数据文件

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

7-4 分桶原理

对分桶的字段进行hash取余计算

余数相同的数据会放在一起

  • 算法
hash(分桶字段) % 分桶数 = 余数

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

IS 和 CS 的余数一样，所以被放入同一个文件

MA 的余数与其他两者不同，所以放入其它文件中

八、补充比较运算符

操作符支持的数据类型描述
A = B基本数据类型如果A等于B，则返回TRUE；否则FALSE
A<>b,A!=B基本数据类型A 或者 B为NULL，则返回NULL；如果A不等于B，则返回TRUE，否则FALSE
A < B基本数据类型A 或者 B为NULL，则返回NULL；如果A小于B，则返回TRUE，否则FALSE
A <= B基本数据类型A 或者 B为NULL，则返回NULL；如果A小于等于B，则返回TRUE，否则FALSE
A > B基本数据类型A 或者 B为NULL，则返回NULL；如果A大于B，则返回TRUE，否则FALSE
A >= B基本数据类型A 或者 B为NULL，则返回NULL；如果A大于等于B，则返回TRUE，否则FALSE
A [NOT] BETWEEN B AND C基本数据类型如果任意A，B，C为NULL，则返回NULL；如果A的值大于等于B且小于或等于C，则返回TRUE，否则FALSE。（如果使用NOT关键字则可达到相反的效果）
萌神想
关注
Hive SQL进阶：掌握间隔连续查询技巧，优化大数据分析
击水三千里的专栏
12-09 980
窗口函数 SUM(...) OVER(...) 的工作方式是在指定的窗口内累加值。在这种情况下，窗口是由 PARTITION BY user_id ORDER BY dt 定义的，这意味着：累加是在每个 user_id 分区内独立进行的，所以不同用户的累加是隔离的。在每个分区内，累加是按照日期 dt 的顺序进行的
日期转换--hivesql
qq_43165880的博客
07-24 1075
[转] String to Date conversion in hive - 在 Hive 中各种字符串转换成日期格式 没有to_date 【hive 日期函数】Hive常用日期函数整理 Hive日期格式转换用法
Day1 - Hive基础知识
m0_73450879的博客
03-31 1487
hive对数据库数据表的基本命令、内外部表、静态动态分桶
day03 -- hive
qq_764694767的博客
02-28 1143
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 没有集群， 单一节点 OLAP和OLTP的区别 Hive 的架构 表的各种结构称为元数据 Hive与Hadoop的关系 Hive利用HDFS存储数据，利用MapReduce查询分析数据 2 Hive 安装部署 2.1 derby版hive直接使用 超轻量级的数据库 前提：Hive安装非常简单，解压之后即可直接运行，不需要太多配置，前提是要配置JAVA_HOME和HADOOP_HOM
漫谈大数据 - HiveSQL总结（一）库表操作
爱意随风起，风止意难平
04-21 2653
针对hive各种数据库操作，内部表、外部表、分区表、分桶表的表属性查看修改操作以及hive数据的导入与导出详解。
Hive-SQL语法大全
S1406793的博客
01-20 2150
]，表示可选，如上[LOCATION]表示可写、可不写，表示或，如上ASC | DESC，表示二选一…，表示序列，即未完结，如上表示在SELECT后可以跟多个，以逗号隔开()，表示必填，如上(A | B | C)表示此处必填，填入内容在A、B、C中三选一。
Hadoop-2.8.0-Day08-Hive函数与HQL详解-课件与资料.zip
04-30
Hadoop是一个开源框架，主要用于分布式存储和计算大规模数据集，而Hive则是建立在Hadoop之上的一种数据仓库工具，它提供了一种SQL-like的语言（称为HiveQL或HQL）来方便数据查询和分析。在这个"Day08-Hive函数与HQL...
Hadoop-2.8.0-Day07-HA-Hive安装部署与HQL-课件与资料.zip
04-30
Hive则是基于Hadoop的数据仓库工具，它提供了SQL-like查询语言HQL，使得非程序员也能方便地处理和分析存储在Hadoop集群中的大量数据。 首先，我们要了解Hadoop的高可用性(High Availability, HA)。HA是指系统在遇到...
电影票房数据分析-hive代码
05-22
Hive提供了类SQL的查询语言，称为HiveQL，用于查询和分析数据。在该资源中，我们使用HiveQL来创建数据库、创建表、加载数据、查询数据等。 知识点2：Hive数据类型 Hive支持多种数据类型，包括String、Integer、...
HiveSQL基础Day02
04-10
HiveSQL基础Day02
HBase
赞的心路历程
09-09 514
安装包：链接:提取码: 5up7。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
最新发布
goTsHgo的博客
09-11 628
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
衡石分析平台使用手册-新手上路介绍
zandy1011的博客
09-06 1190
​以下概括阐述了产品基本理念，这些理念贯穿我们的整个产品开发和设计，并最终体现为产品的功能形态。我们希望衡石分析平台可以成为各个领域的行业人员进行业务分析的称手兵器，简单稳定，容易上手。
【大数据】如何读取多个Excel文件并计算列数据的最大求和值
一个不断前行的程序者
09-09 860
在数据分析和处理中，我们经常需要从多个Excel文件中提取数据并进行计算。本文将带您通过一个实用的Python教程，学习如何读取D盘目录下特定文件夹内的多个Excel文件，并计算特定列数据的最大求和值。
如何确定kafka与zookeeper版本的对应关系
别来沾边儿
09-09 625
真希望官方可以贴心的整理出所有版本和zookeeper的对应关系，从目前kafka发展的趋势来看，都已经移除zookeeper依赖了，这件事也是木戏，哈哈哈；从解压目录我们可以kafka的源码是基于gradle的，我们只需要去gradle的依赖中找找zookeeper依赖的版本即可；搜索zookeeper关键字，可以看到Kafka2.7.2对应的Zookeeper版本为3.5.9。大家可以额外思考一下，如果用更高版本的zookeeper，kafka运行会不会有问题？这嘎嘎一列版本对应关系，哪来的呢？
StreamPark集成k8s运行Flink
weixin_45249411的博客
09-08 555
1.然后在有docekr的机器上登录。2.设置下命名空间(左侧)
三.海量数据实时分析-FlinkCDC实现Mysql数据同步到Doris
墨家巨子@俏如来
09-07 1296
通过上面的 route 配置，会将 app_db.orders 表的结构和数据同步到 ods_db.ods_orders 中。这样，就可以将诸如 app_db.order01、app_db.order02、app_db.order03 的表汇总到 ods_db.ods_orders 中。参考：https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/quickstart/mysql-to-doris/
Dubbo 与 Zookeeper 在项目中的应用：原理与实现详解
lssffy的博客
09-11 1477
Dubbo 是阿里巴巴开源的高性能、轻量级的 RPC 框架，主要用于提供分布式服务架构下的远程服务调用。Dubbo 的设计初衷是为了解决微服务架构下服务之间的远程调用、负载均衡、服务路由等问题。它通过将每个服务都模块化并封装为独立的服务，使得服务间可以通过网络进行调用。Zookeeper 是一个分布式协调服务，旨在解决分布式系统中的数据管理问题。它可以提供配置管理、分布式锁、集群管理、服务发现等功能。Zookeeper 采用树形数据结构存储数据，并通过简单的 API 实现高效的节点监控和管理。
【Spark源码分析】ApplicationMaster基本启动流程
coding and writing
09-07 1108
Spark中ApplicationMaster的基本启动流程，以Spark On Yarn的角度与分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

萌神想

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值