- 博客(12)
- 收藏
- 关注
RSS订阅原创 Hive数据关联操作
ALL和DISTINCT子句表示是否返回重复行，默认是ALL，返回所有匹配行。DISTINCT子句可以返回删除结果集中的重复行。LIMIT子句用于限制SELECT语句返回的行数。
2024-06-22 16:21:48
270
原创 Hive元数据
元数据表名（MySQL hive数据库中）说明VERSION存储Hive版本存储与Hive数据库相关信息存储Hive表相关信息存储Hive文件存储相关信息存储分区相关信息COLUMNS_V2存储表对应的字段信息CDS记录Columns_v2中所有的CD_IDDB_PRIVS数据库权限信息表IDXS索引表表字段统计信息表字段授权信息PAPT_PRIVS分区授权信息。
2024-06-22 16:07:27
1540
原创 Hive的内部表和外部表
内部表(managed table): 未被external修饰的表，也叫管理表。外部表(external table):被external修饰的表。内部表&外部表的区别：内部表：删除表会删除表的元数据(metadata)和表数据（data）。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。数据管理方式： 数据(data)都存储在HDFS上，内部表由Hive自身管理，外部表数据由HDFS管理；元数据(metadata)都存储在mysql上，由mysql管理。
2024-03-26 13:52:37
283
原创 Hive数据库及表操作
整数: TINYINT、SMALLINT、INT、BIGINT小数: FLOAT、DOUBLE、DECIMAL文本: STRING、CHAR、VARCHAR布尔: BOOLEAN二进制: BINARY时间: DATE、TIMESTAMP、INTERVAL。
2024-03-22 10:09:01
610
原创 Hive数据存储模型
Hive中的数据分为真实数据与原数据，一般来说Hive的存储格式是指真实数据的存储格式。Hive常见的存储格式包括以下4种：TEXTFILE、SEQUENCEFILE、RCFILE和ORCFILE。1、TEXTFILEHive默认存储格式为TEXTFILE。存储格式为按行存储，内容为普通的文本格式，一般可以使用cat命令字节查看。
2024-03-18 14:30:22
1522
原创 了解Hive基础
Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据问价映射为一张数据库表，并提供SQL语句转化为MapReduce作业进行运行。
2024-03-08 15:10:23
302
原创 数据仓库技术与应用
Docker Desktop是适用于Windows的Docker桌面，是Docker设计用于在Windows 10上运行。它是一个本地 Windows 应用程序，为构建、交付和运行dockerized应用程序提供易于使用的开发环境。Docker Desktop for Windows 使用 Windows 原生 Hyper-V 虚拟化和网络，是在 Windows 上开发Docker 应用程序的最快、最可靠的方式。
2024-03-04 13:59:16
1763
原创 数据仓库技术与应用
数据仓库是一种面向商务智能 (BI) 活动（尤其是分析）的数据管理系统，它仅适用于查询和分析，通常涉及大量的历史数据。在实际应用中，数据仓库中的数据一般来自应用日志文件和事务应用等广泛来源。数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。同时，随着时间推移，它还会建立一个对于数据科学家和业务分析人员极具价值的历史记录。得益于这些强大的功能，数据仓库可为企业提供一个“单一信息源”。
2024-03-01 10:03:04
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人