Hive学习笔记二之表操作

最新推荐文章于 2024-05-16 22:41:04 发布
最新推荐文章于 2024-05-16 22:41:04 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 开发环境的搭建 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48238787/article/details/121726237
版权

文章目录


一些常见的sql语言，我在这里不在赘述了

1 DDL 数据定义

CREATE DATABASE [IF NOT EXISTS] database_name
[COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (property_name=property_value, ...)];
  1. 创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db
 create database if not exists db_hive ;

在这里插入图片描述

  1. 避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法）
  2. 创建一个数据库，指定数据库在 HDFS 上存放的位置
create database db_hive2 location '/db_hive2.db';

在这里插入图片描述

  1. 删除数据库时，如果数据库不为空，可以采用 cascade 命令，强制删除
drop database db_hive cascade;

2 创建表

  1. 建表语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]
  1. 字段解释说明
    （1）CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
    （2）EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实
    际数据的路径（LOCATION），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
    （3）COMMENT：为表和列添加注释。
    （4）PARTITIONED BY 创建分区表
    （5）CLUSTERED BY 创建分桶表
    （6）SORTED BY 不常用，对桶中的一个或多个列另外排序
    （7）
    ROW FORMAT 
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
 [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
 | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, 
property_name=property_value, ...)]

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive 通过 SerDe 确定表的具体的列的数据。SerDe 是 Serialize/Deserilize 的简称， hive 使用 Serde 进行行对象的序列与反序列化。
（8）STORED AS 指定存储文件类型
常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列
式存储格式文件）.
如果文件数据是纯文本，可以使用STORED AS TEXTFILE。
如果数据需要压缩，使用 STORED AS SEQUENCEFILE。
（9）LOCATION ：指定表在 HDFS 上的存储位置。
（10）AS：后跟查询语句，根据查询结果创建表。
（11）LIKE 允许用户复制现有的表结构，但是不复制数据 。

2.1 管理表

(1) 理论
默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive 会（或多或少地）控制着数据的生命周期。Hive 默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录的子目录下。
当我们删除一个管理表时，Hive 也会删除这个表中数据 。管理表不适合和其他工具共享数据。
在mysql中查看我们创建表的元数据：
在这里插入图片描述

(2) 案例实操
0. 原始数据

1001	zjw1
1002	zjw2
1003	zjw3
1004	zjw4
1005	zjw5
1006	zjw6
1007	zjw7
1008	zjw8
1009	zjw9
1010	zjw10
1011	zjw11
1012	zjw12
1013	zjw13
1014	zjw14
1015	zjw15
1016	zjw16

将数据上传至hdfs中：

hive (default)> dfs -mkdir /user/hive/warehouse/student;
hive (default)> dfs -put /opt/module/datas/student.txt /user/hive/warehouse/student;

在这里插入图片描述

  1. 普通创建表
create table if not exists student(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student';

在这里插入图片描述

  1. 根据查询结果创建表（查询的结果会添加到新创建的表中）
create table if not exists student2 as select id, name from student where id<=1010 ;

此时可以去MR任务表去查看：
在这里插入图片描述
如果使用MR读取本地文件的话，要确保集群中所有机器的本地都要有数据，因为yarn不一定把任务分发到当前节点上。
在这里插入图片描述

  1. 根据已经存在的表结构创建表
create table if not exists student3 like student;
  1. 查询表的类型
desc formatted student2;
  1. 删除内部表
    在这里插入图片描述
    在这里插入图片描述
    hdfs里面的数据也会被删除。

2.2 外部表

(1)理论:
因为表是外部表，所以 Hive 并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。
(2)管理表和外部表的使用场景
对于共享的数据我们使用的是外部表，因为删除这个表，不影响其它程序对这个文件的访问。
每天将收集到的网站日志定期流入 HDFS 文本文件。在外部表（原始日志表）的基础上做大量的统计分析，而用到的中间表、结果表使用内部表存储，数据通过 SELECT+INSERT 进入内部表。

(3）案例实操
分别创建部门和员工外部表，并向表中导入数据

  1. 原始数据
    dept:

    10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700

    emp：

    7369 SMITH CLERK 7902 1980-12-17 800.00 20
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00 20
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
7839 KING PRESIDENT 1981-11-17 5000.00 10
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20
7934 MILLER CLERK 7782 1982-1-23 1300.00 10

  2. 上传数据到 HDFS

    hive (default)>dfs -mkdir /user/hive/warehouse/dept;
hive (default)> dfs -put /opt/module/hive/datas/dept.txt /user/hive/warehouse/dept;
hive (default)>dfs -mkdir /user/hive/warehouse/emp;
hive (default)> dfs -put /opt/module/hive/datas/emp.txt /user/hive/warehouse/emp;

    在这里插入图片描述

  3. 建表语句，创建外部表

    1. 创建部门表

      create external table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by ' '
location '/user/hive/warehouse/dept';

    2. 创建员工表

      create external table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by  " "
location '/user/hive/warehouse/emp';

  4. 查看创建的表

    show tables;

    在这里插入图片描述

  5. 查看表格式化数据

    desc formatted dept;

    在这里插入图片描述

  6. 删除外部表

    drop table dept;

    在这里插入图片描述
    在这里插入图片描述

    外部表删除后，hdfs 中的数据还在，但是 metadata 中 dept 的元数据已被删除

2.3 管理表与外部表的互相转换

  1. 查询表的类型
 desc formatted student2;

在这里插入图片描述

  1. 修改内部表 student2 为外部表：

    alter table student2 set tblproperties('EXTERNAL'='TRUE');

  2. 查询表的类型
    在这里插入图片描述

  3. 此时删除表

    drop table student2;

    在这里插入图片描述
    hdfs上的数据还在。
    注意：(‘EXTERNAL’=‘TRUE’)和(‘EXTERNAL’=‘FALSE’)为固定写法，区分大小写！

3 数据导入

3.1 向表中装载数据（Load）

  1. 语法：

     load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];

    （1）load data:表示加载数据
    （2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表
    （3）inpath:表示加载数据的路径
    （4）overwrite:表示覆盖表中已有数据，否则表示追加
    （5）into table:表示加载到哪张表
    （6）student:表示具体的表
    （7）partition:表示上传到指定分区

  2. 实操案例

    1. 创建一张表

       create table student(id string, name string) row format delimited fields terminated by '\t';

    2. 加载本地文件到 hive

      hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table default.student;

      在这里插入图片描述

    3. 加载 HDFS 文件到 hive 中
      上传文件到 HDFS（追加）

      hive (default)> dfs -mkdir /user/student;
hive (default)> dfs -put /opt/module/hive/datas/student.txt /user/student;

      加载 HDFS 上数据

      hive (default)> load data inpath '/user/student/student.txt'  into table default.student;

      在这里插入图片描述

      在这里插入图片描述
      此时原来存放student.txt的数据被剪贴到表的路径下，这样子导入数据是非常块的，因为它底层就是改namenode下的元数据，而不用去移动文件本身的位置。

      加载数据覆盖表中 已有的数据

      dfs -put /opt/module/hive/datas/student.txt /user/student;
hive (default)> load data inpath '/user/atguigu/student.txt' overwrite into table default.student;

    在这里插入图片描述

3.2 通过查询语句向表中插入数据（Insert）

  1. 创建一张表
 create table student_par(id int, name string) row format delimited fields terminated by '\t';
  1. 基本插入数据
 insert into table student_par values(1,'wangwu'),(2,'zhaoliu');
  1. 基本模式插入（根据单张表查询结果）
 insert overwrite table student_par select id, name from student where month='201709';
  1. 多表（多分区）插入模式（根据多张表查询结果）
 from student
 insert overwrite table student partition(month='201707')
 select id, name where month='201709'
 insert overwrite table student partition(month='201706')
 select id, name where month='201709';

3.3 查询语句中创建表并加载数据（As Select）

根据查询结果创建表（查询的结果会添加到新创建的表中）

create table if not exists student3 as select id, name from student;

3.4 创建表时通过 Location 指定加载数据路径

  1. 上传数据到 hdfs 上
hive (default)>dfs -mkdir /student;
hive (default)>dfs -put /opt/module/datas/student.txt /student;
  1. 创建表，并指定在 hdfs 上的位置
 create external table if not exists student5(
 id int, name string
 )
 row format delimited fields terminated by '\t'
 location '/student;
  1. 查询数据
hive (default)> select * from student5;

4 分区表和分桶表

4.1 分区表

分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

4.1.1 分区表基本操作

  1. 引入分区表（需要根据日期对日志进行管理, 通过部门信息模拟）

    dept_20200401.log
dept_20200402.log
dept_20200403.log

  2. 创建分区表语法

    create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (day string)
row format delimited fields terminated by '\t';

    注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列。

  3. 加载数据到分区表中
    1. 数据准备
    dept_20200401.log

    dept_20200401.log
10 ACCOUNTING 1700
20 RESEARCH 1800

    dept_20200402.log

    30 SALES 1900
40 OPERATIONS 1700

    dept_20200403.log

    50 TEST 2000
60 DEV 1900
    1. 加载数据
    hive (default)> load data local inpath 
'/opt/module/hive/datas/dept_20200401.log' into table dept_partition 
partition(day='20200401');
hive (default)> load data local inpath 
'/opt/module/hive/datas/dept_20200402.log' into table dept_partition 
partition(day='20200402');
hive (default)> load data local inpath 
'/opt/module/hive/datas/dept_20200403.log' into table dept_partition 
partition(day='20200403');

    注意：分区表加载数据时，必须指定分区
    在这里插入图片描述
    在这里插入图片描述

  4. 查询分区表中数据
    单分区查询

    hive (default)> select * from dept_partition where day='20200401';

    在这里插入图片描述

    多分区联合查询

    hive (default)> 
select * from dept_partition where day='20200401'
 union
 select * from dept_partition where day='20200402'
 union
 select * from dept_partition where day='20200403';

    hive (default)> select * from dept_partition where day='20200401' or
day='20200402' or day='20200403';

    在这里插入图片描述

  5. 增加分区
    创建单个分区

    hive (default)> alter table dept_partition add partition(day='20200404');

    同时创建多个分区

    hive (default)> alter table dept_partition add partition(day='20200405') partition(day='20200406');

    在这里插入图片描述

  6. 删除分区
    删除单个分区

    hive (default)> alter table dept_partition drop partition (day='20200406');

    同时删除多个分区

    hive (default)> alter table dept_partition drop partition (day='20200404'), partition(day='20200405');

    在这里插入图片描述

  7. 查看分区表有多少分区

    hive> show partitions dept_partition;

在这里插入图片描述

  1. 查看分区表结构

    hive> desc formatted dept_partition;
# Partition Information 
# col_name data_type comment 
month string
4.1.2 二级分区

思考: 如何一天的日志数据量也很大，如何再将数据拆分?

  1. 创建二级分区表

    hive (default)>
 create table dept_partition2(
 deptno int, dname string, loc string
 )
 partitioned by (day string, hour string)
 row format delimited fields terminated by ' ';

  2. 正常的加载数据
    （1）加载数据到二级分区表中

    hive (default)>
 load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table
dept_partition2 partition(day='20200401', hour='12');

    （2）查询分区数据

    hive (default)> 
select * from dept_partition2 where day='20200401' and hour='12';

    在这里插入图片描述

  3. 把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式
    （1）方式一：上传数据后修复
    上传数据

    hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/day=20200401/hour=13;

    dfs -put /opt/module/hive/datas/dept_20200401.log /user/hive/warehouse/dept_partition2/day=20200401/hour=13;

    查询数据（查询不到刚上传的数据）

    hive (default)> select * from dept_partition2 where day='20200401' and hour='13';

    在这里插入图片描述

    执行修复命令

    hive> msck repair table dept_partition2;

    在这里插入图片描述

    再次查询数据

    hive (default)> select * from dept_partition2 where day='20200401' and hour='13';

    （2）方式二：上传数据后添加分区
    上传数据
    太长了就省略hive (default)

    dfs -mkdir -p /user/hive/warehouse/dept_partition2/day=20200401/hour=14;

dfs -put /opt/module/hive/datas/dept_20200401.log /user/hive/warehouse/dept_partition2/day=20200401/hour=14;

    执行添加分区

    hive (default)> alter table dept_partition2 add partition(day='201709',hour='14');

    执行修复命令

    hive> msck repair table dept_partition2;

    查询数据

    hive (default)> select * from dept_partition2 where day='20200401' and hour='14';

    （3）方式三：创建文件夹后 load 数据到分区
    创建目录

    hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/day=20200401/hour=15;

    上传数据

    hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table
dept_partition2 partition(day='20200401',hour='15');

    查询数据

    hive (default)> select * from dept_partition2 where day='20200401' and hour='15';

4.1.3 动态分区调整

关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。

  1. 开启动态分区参数设置
    （1）开启动态分区功能（默认 true，开启）

    hive.exec.dynamic.partition=true

    （2）设置为非严格模式（动态分区的模式，默认 strict，表示必须指定至少一个分区为静态分区，nonstrict 模式表示允许所有的分区字段都可以使用动态分区。）

    hive.exec.dynamic.partition.mode=nonstrict

    （3）在所有执行 MR 的节点上，最大一共可以创建多少个动态分区。默认 1000

    hive.exec.max.dynamic.partitions=1000

    （4） 在每个执行 MR 的节点上，最大可以创建多少个动态分区 。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即 day 字段有 365 个值，那么该参数就需要设置成大于 365，如果使用默认值 100，则会报错。

    hive.exec.max.dynamic.partitions.pernode=100

    （5）整个 MR Job 中，最大可以创建多少个 HDFS 文件。默认 100000

    hive.exec.max.created.files=100000

    （6）当有空分区生成时，是否抛出异常。一般不需要设置。默认 false

    hive.error.on.empty.partition=false

  2. 案例实操
    需求：将 dept 表中的数据按照地区（loc 字段），插入到目标表 dept_partition 的相应分区中。
    （1）创建目标分区表

    hive (default)> create table dept_partition_dy(id int, name string)
partitioned by (loc int) row format delimited fields terminated by '\t';

    （2）设置动态分区

    set hive.exec.dynamic.partition.mode = nonstrict;

hive (default)> insert into table dept_partition_dy partition(loc) 
select deptno, dname, loc from dept;

    （3）查看目标分区表的分区情况

    hive (default)> show partitions dept_partition;

  3. Hive3.0更新
    在Hive3.0的时候，我们在是使用动态分区，可以不用写分区字段，只需将它作为select的最后一个字段，如果是多级分表，则字段顺顺序要对应.例如：

    hive (default)> insert into table dept_partition_dy select deptno, dname, loc from dept;

    思考：目标分区表是如何匹配到分区字段的？

4.2 分桶表

分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
分区针对的是数据的存储路径；分桶针对的是数据文件。

  1. 先创建分桶表
    （1）数据准备

    1001 zjw1
1002 zjw2
1003 zjw3
1004 zjw4
1005 zjw5
1006 zjw6
1007 zjw7
1008 zjw8
1009 zjw9
1010 zjw10
1011 zjw11
1012 zjw12
1013 zjw13
1014 zjw14
1015 zjw15
1016 zjw16

    （2）创建分桶表

    create table stu_buck(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited fields terminated by '\t';

    （3）查看表结构

    hive (default)> desc formatted stu_buck;
Num Buckets: 4

    在这里插入图片描述

    （4）导入数据到分桶表中，load 的方式

    hive (default)> load data local inpath '/opt/module/hive/datas/student.txt' into table stu_buck;

    （5）查看创建的分桶表中是否分成 4 个桶
    （6）查询分桶的数据

    hive(default)> select * from stu_buck;

    （7）分桶规则：
    根据结果可知：Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中

  2. 分桶表操作需要注意的事项
    （1）reduce 的个数设置为-1,让 Job 自行决定需要用多少个 reduce 或者将 reduce 的个
    数设置为大于等于分桶表的桶数
    （2）从 hdfs 中 load 数据到分桶表中，避免本地文件找不到问题
    （3）不要使用本地模式

  3. insert 方式将数据导入分桶表

    hive(default)>insert into table stu_buck select * from student_insert;

Hive相关文章：
Hive学习笔记之一hive的介绍与安装
Hive学习笔记二之表操作
Hive学习笔记三之函数操作
Hive学习笔记四之Hive实战

孤独的偷学者
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hive学习笔记（更新版）
05-31
包括了Hive简介、安装搭建、常用操作、函数整理、优化整理。比较适合新手入门！个人整理，有问题请留言或发送邮件至[email protected]
hadoop学习笔记 Hive执行生命周期
houxiaoqin的博客
08-13 1302
Hive内存存储格式  TextFile：默认数据不做压缩，磁盘开销大数据解析开销大，可用Stored as Textfile指定。 SequenceFile：使用方便、可分割、可压缩，可供多个mapper并发读取。可使用stored as sequencefile指定。SequenceFile支持三种压缩选择：none,record,block. RCFile：列式存储方式，数据加
Hive学习笔记三之函数操作
qq_48238787的博客
12-09 1018
5 函数 5.1 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 数据准备： 5.2 常用内置函数 5.2.1 空字段赋值 1）函数说明 NVL：给值为 NULL 的数据赋值，它的格式是 NVL( value，default_value)。它的功能是如果 val
hive学习笔记之四：分区表
2401_84046876的博客
04-30 602
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门，即可获取！ partition(city=‘shenzhen’);load datalocal inpath ‘/home/hadoop/temp/202010/25/009.txt’into table t9partition(city=‘guangzhou’);hive> select * from t9;OKt9.name t9.age t9.citytom 11 guangzhoujerry 12 guangz
hive学习笔记之二：复杂数据类型
2401_84048621的博客
04-23 604
这份面试题几乎包含了他在一年内遇到的所有面试题以及答案，甚至包括面试中的细节对话以及语录，可谓是细节到极致，甚至简历优化和怎么投简历更容易得到面试机会也包括在内！也包括教你怎么去获得一些大厂，比如阿里，腾讯的内推名额！某位名人说过成功是靠99%的汗水和1%的机遇得到的，而你想获得那1%的机遇你首先就得付出99%的汗水！你只有朝着你的目标一步一步坚持不懈的走下去你才能有机会获得成功！成功只会留给那些有准备的人！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
大数据 之 Hive 学习笔记
07-23
大数据 之 Hive 学习笔记 ； 基本操作； 查询； 使用Hive注意点；
《Hive编程技术与应用》学习笔记.pdf
03-11
全书共10章：前6章系统讲解Hive工作原理、特点，Hive架构，HiveQL表操作，HiveQL数据操作，HiveQL查询，Hive安装与配置，Hive自定义函数；第8～10章是综合案例部分，通过案例帮助读者掌握整个大数据项目的开发流程，...
IT十八掌_Hive阶段学习笔记(课堂笔记与优化总结)
09-02
IT十八掌第三期配套课堂笔记 1、Hive工作原理、类型及特点 2、Hive架构及其文件格式 3、Hive操作及Hive复合类型 4、Hive的JOIN详解 5、Hive优化策略 6、Hive内置操作符与函数 7、Hive用户自定义函数接口 8、Hive的...
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。...每个数据库表被当做一个RDD，SparkSQL查询被转换为Spark操作。对熟悉Hive和HiveQL的人，Spark可以拿来就用。SparkStrea
k8s中部署hive，包括客户端及服务端
小白白的博客
05-16 618
推送好之后，在cube studio平台上，新建一个pipeline，使用自定义镜像模板，填写镜像为ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3，debug，检查目录对不对，检查环境变量是否正确，在命令行输入hive命令，看是否能正常执行。环境变量写在/etc/profile更好，因为~/.bashrc是临时的，重启一下pod就复原了，但/etc/profile是全局的，避免一直要重复设置。登录ui界面，可以验证是否成功。
Hive的窗口函数
早拾碗吧的博客
05-16 267
【代码】Hive的窗口函数。
CentOS大数据集群启停命令【mysql,hdfs,yarn,hive,zookeeper,kafka】后续补充
qq_65231448的博客
05-16 186
本文暂时收录大数据相关的mysql,的启停命令，后续会持续添加。(默认配置都已经完成)
Servlet入门
m0_63070489的博客
05-13 742
Servlet入门
Hive分区表跨集群迁移保姆间教程
linweidong的专栏
05-16 169
集群1下，shell命令行执行 hive -e "show partitions table_name" > partitions.txt，table_name要换成要执行的表名，例如这里是test.analysis_events。给集群2的同名hive表添加分区，数据就会自动加载到Hive表中,在partitions.txt同个目录下，编写python脚本如下。然后python python脚本.py，就可以看到不断添加动态分区。对于每个分区，将数据打包为便于传输的格式，例如使用tar。
Hive的行列转换
早拾碗吧的博客
05-16 444
【代码】Hive的行列转换。
Hadoop3：HDFS的Shell操作（常用命令汇总）
Brave_heart4pzj的博客
05-09 509
Hadoop
Hadoop介绍
最新发布
ZTBztb123456的博客
05-16 121
YARN支持多种应用程序模型，包括传统的基于批处理的MapReduce模型，以及新兴的交互式查询（例如Apache Tez）、流处理（例如Apache Flink）和机器学习（例如Apache Spark）等。HDFS将大文件分割成数据块（通常大小为128MB或更大），并将这些数据块复制到集群中的不同节点上，以确保数据的冗余备份和可靠性。Hive：基于Hadoop的数据仓库工具，提供类似SQL的查询语言（HiveQL）来分析存储在HDFS中的数据，适用于数据分析和报表生成。
ubuntu中hadoop完全分布式部署【三台主机】
weixin_38383877的博客
05-16 194
链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。2、在/etc/profile中添加环境变量，并使其生效【注意切换为自己的实际路径】3、安装成功测试,输入以下命令，出现java版本。#（1）在三台主机中分别生成密钥，六、配置hadoop完全分布部署。#（2）在三台主机中传输密钥。# 退出连接使用:logout。五、配置zookeeper环境。解决方案：重新安装vim。# 查看是否修改成功。
hive表ddl操作(二)头歌
11-02
Hive是基于Hadoop的数据仓库工具，可以通过类SQL语言进行数据查询、分析和处理。在Hive中，DDL（数据定义语言）用于创建、修改和删除表。 对于表的DDL操作包括创建表、修改表和删除表。创建表的语法如下： ``` CREATE TABLE table_name ( column1 data_type, column2 data_type, ... columnN data_type ) [PARTITIONED BY (partition_column data_type)] [ROW FORMAT row_format] [STORED AS file_format] ``` 其中，`table_name`为表名称，`column1`至`columnN`为表的列名和数据类型。如果需要使用分区，可以在方括号内指定分区列和数据类型。`ROW FORMAT`用于指定数据存储格式，如可选的有`DELIMITED`、`SERDE`等。`STORED AS`用于指定文件格式，如可选的有`TEXTFILE`、`PARQUET`等。 修改表的语法如下： ``` ALTER TABLE table_name [ADD | DROP] COLUMN column_name data_type [CHANGE COLUMN column_name new_column_name new_data_type] [RENAME TO new_table_name] [SET TBLPROPERTIES (key1=value1, key2=value2, ...)] ``` `ADD COLUMN`用于添加新列，`DROP COLUMN`用于删除指定列，`CHANGE COLUMN`用于修改列名称和数据类型。`RENAME TO`用于修改表名称。`SET TBLPROPERTIES`用于设置表属性。 删除表的语法如下： ``` DROP TABLE [IF EXISTS] table_name ``` `IF EXISTS`用于判断表是否存在，如果存在则删除。 通过上述的DDL操作，我们可以在Hive中创建、修改和删除表，从而实现对数据的有效管理和操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孤独的偷学者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值