Hive
文章平均质量分 84
Hive
何如千泷
这个作者很懒,什么都没留下…
展开
-
Hive之压缩和存储
压缩和存储1. Hadoop 压缩配置https://blog.csdn.net/qq_42735631/article/details/1169035531.1 开启 Map 输出阶段压缩开启 hive 中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启 mapreduce 中 map 输出压缩功能set mapreduce.map.output.compress=true;设置 mapreduce 中map 输出数据的压缩方原创 2021-10-08 18:02:18 · 144 阅读 · 0 评论 -
Hive之函数
函数1. 系统内置函数查看系统自带的函数show functions;显示自带函数的用法desc function upper;详细显示自带函数的用法desc function extended upper;2. 常用内置函数2.1字段赋值NVL:给值为NULL的数据赋值,它的格式是NVL(value,default_value)。如果value为空,则返回default_value,否则返回value// 如果员工的comm为NULL,则用-1代替select comm,原创 2021-10-08 10:44:47 · 300 阅读 · 0 评论 -
Hive之分区表和分桶表
分区表和分桶表1. 分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。1.1 分区表基本操作创建分区表// 创建分区表 (分区字段不能是表中已经存在的数据,可以将分区字段看作表的伪列)create table dept_partition ( deptno int,原创 2021-10-07 21:15:57 · 101 阅读 · 0 评论 -
Hive之查询操作
查询1. 数据准备1.1 创建表// 创建部门表create table if not exists dept ( deptno int, dname string, loc int)row format delimited fields terminated by '\t';// 创建员工表create table if not exists emp ( empno int, ename string, job string, mg原创 2021-10-06 22:30:10 · 638 阅读 · 0 评论 -
Hive之DML操作
DML 数据操作1. 数据导入1.1 向表中Load数据语法load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];load data: 表示加载数据local: 表示从本地加载数据到 hive 表;否则从 HDFS 加载数据到 hive 表inpath: 表示加载数据的路径overwrite: 表示覆盖表中已有数据,否则表示追加into tab原创 2021-10-06 17:40:49 · 1555 阅读 · 0 评论 -
Hive之DDL操作
DDL 数据定义1. 创建数据库创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db· create database db_hive if not exists;创建一个数据库,指定数据库在 HDFS 上存放的位置 create database db_hive2 if not exists location '/db_hive2.db';2. 查询数据库2.1 显示数据库显示数据库show databases;过滤显示查原创 2021-10-05 15:40:50 · 340 阅读 · 0 评论 -
Hive之数据类型
Hive数据类型1. 基本数据类型数据类型描述TINYINT1byte 有符号整数SMALINT2byte 有符号整数INT4byte 有符号整数BIGINT8byte 有符号整数BOOLEAN布尔类型FLOAT单精度浮点数DOUBLE双精度浮点数STRING字符系列TIMESTAMP时间类型BINARY字节数组2. 集合数据类型数据类型描述STRUCT和 c 语言中的 struc原创 2021-10-05 14:39:58 · 103 阅读 · 0 评论 -
Hive之安装部署
Hive安装1. Hive 安装部署1.1 安装 Hive把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive-3原创 2021-10-05 11:31:33 · 162 阅读 · 0 评论 -
Hive之简单介绍
Hive 基本概念1. 什么是 HiveHive 是基于 Hadoop 的一个数据仓库工具,用于解决海量结构化日志的数据统计工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能Hive 本质:将 HQL 转化成 MapReduce 程序Hive 处理的数据存储在 HDFSHive 分析数据底层的实现是 MapReduce执行程序运行在 Yarn 上2. Hive 的优缺点2.1 优点操作接口采用类 SQL 语法,提供快速开发的能力避免了去写 MapReduce,减少原创 2021-10-05 10:11:51 · 295 阅读 · 0 评论