csyigy的博客

文章目录9 模式设计9.1 按天划分的表9.2 关于分区9.3 唯一键和标准化9.4 同一份数据多种处理9.5 对于每个表的分区9.6 分桶表数据存储9.7 为表增加列9.8 使用列式存储9.8.1 重复数据9.8.2 宽表9.9 （几乎）总是使用压缩9 模式设计hive看上去与实际操作都像一个关系型数据库，但是事实上Hive是反模式。9.1 按天划分的表对于数据集增长很快的情况，可以使用这种方式，在表名中加入一个时间戳，例如upply_2020_05_20、upply_2020_05_21等。当

目录8 HiveQL：索引8.1 创建索引Bitmap索引8.2 重建索引8.3 显示索引8.4 删除索引8.5 实现一个定制化索引处理器8 HiveQL：索引Hive只有有限索引的功能。Hive中没有普通关系型数据库中键的概念，但是还是可以对一些字段建立索引来加速某些操作的。一张表的索引数据存储在另外一张表中。当逻辑分区实际上太多太细而几乎无法使用时，建立索引也就成为分区的另一个选择。建立...

目录1 HBase简介1.1 HBase定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase物理存储结构1.2.3 数据模型1.3 HBase基本架构2 HBase quick-start2.1 HBase Shell操作2.1.1 基本操作2.1.2 表的操作3 HBase API3.1 依赖3.2 HBase API3.2.1 获取configuration对...

文章目录1 使用视图来降低查询复杂度2 使用视图来限制基于条件过滤的数据3 动态分区中的视图和map类型4 其他关于视图的一些事情视图可以允许保存一个查询并像对待表一样对这查询进行操作。这个是一个逻辑结构，因为它不像表会存储数。当一个查询引用视图时，这个视图所定义的查询语句将和用户的查询语句组合在一起，然后供Hive指定查询计划。从逻辑上讲，可以想象为Hive先执行这个视图，然后使用这个结果进...

1.SELECT … FROM 语句SELECT是SQL中的射影算子。FROM子句标识了从哪个表、视图或嵌套查询中选择记录，SELECT指定了要保存的列以及输出函数需要调用的一个或多个列（例如，COUNT(*) 这样的聚合函数）。employees表：CREATE TABLE employees( name STRING, salary ...

1.向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country='US', state='CA');如果分区目录不存在的话，这个命令会先创建分区目录，然后再将数据拷贝到该目录下。如果使用了LOCAL关键字，那么这个路径...

目录1.Hive中的数据库2.修改数据库3.创建表3.1管理表3.2外部表4.分区表和管理表4.1外部分区表4.2自定义表的存储格式5.删除表6.修改表6.1.表重命名6.2.增加、修改和删除表分区6.3.修改列信息6.4.增加列6.5.删除或者替换列6.6.修改表属性6.7.修改存储属性6.8.众多的修改表语句Hive和MySQL最接近但是两者也存在显著性差异。Hive不支持行级插入操作、更新...

1. 基本数据类型Hive支持多种不同长度的整型和浮点数据类型，支持布尔类型，也支持无长度限制的字段串类型。Hive v0.8.0版本中增加了时间戳数据类型和二进制数组数据类型。下表中列举了Hive所支持的基本数据类型：数据类型长度例子TINYINT1byte有符号整数20SMALINT2byte有符号整数20INT4byte有符号整数20...

Shell-quickstartShell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 脚本（shell script），是一种为 shell 编写的脚本程序。1. Shell 环境Shell 编程跟 jav...