![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
情深不仅李义山
路漫漫其修远兮,吾将上下而求索.
展开
-
数据仓库分层
文章目录数据仓库为什么分层数据仓库分几层为什么最低分三层总结数据仓库为什么分层数据仓库分层的主要原因是在管理数据的时候,能对数据有一个更加清晰的掌控,详细来讲,主要有下面几个原因:数据血缘追踪:当上层应用型数据出问题的时候,可以溯源到问题的根源,能快速定位问题所在。减少重复开发:分层后,中间层的数据可以供应用层重复使用,不用每次有新的需求都要从底层数据开始开发。把复杂的问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确性,当原创 2020-10-08 12:38:59 · 105 阅读 · 0 评论 -
Hive函数
Hive有非常丰富的内置函数库,可以通过以下命令来查看所有的Hive自带函数:# 查看所有自带函数show functions;# 显示自带函数的用法:desc function upper;# 详细显示函数用法desc function extended upper;常用自带函数:#字符串连接函数: concat select concat('abc','def’,'gh'); # 带分隔符字符串连接函数: concat_ws select concat_ws(',',原创 2020-09-28 13:06:38 · 74 阅读 · 0 评论 -
Hive常用查询语句
数据源如下:学生表:sid sname birth sex01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风 1990-05-20 男04 李云 1990-08-06 男05 周梅 1991-12-01 女06 吴兰 1992-03-01 女07 郑竹 1989-07-01 女08 王菊 1990-01-20 女老师表:tid tname01 张三02 李四03 王五课程表:cid cname tid01 语文 0202 数学 01原创 2020-09-28 09:40:55 · 356 阅读 · 0 评论 -
hive表操作
内部表操作# 创建简单入门表create table tb1(id int, name String);# 使用insert插入数据(会转化为mapreduce程序)insert into tb1(1, "zhangsan");# 创建表并指定分隔符create table if not exists tb2(id int, name String)row format delimited fields terminated by "\t";# 创建表并指定表文件的存放路径crea.原创 2020-09-27 20:47:13 · 89 阅读 · 0 评论 -
Hive的DML数据操作
DML是Data Manipulation Language的缩写,意思是数据库操纵语言,主要是指对数据库的增删改查操作。Hive虽然是数据仓库,但是它也有的DML。今天刚好学习了,通过此文章来巩固并记录学习过程。1.数据导入load语法:load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into ...原创 2020-02-20 23:45:36 · 450 阅读 · 0 评论 -
Hive的分区表
Hive分区表Hive分区表对应的是HDFS上独立的文件夹,该文件夹存放的是该分区的所有数据,其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集,在查询时能够通过where关键词选择指定分区,从而提高查找效率。为什么这样能够提高查找效率呢?其实是因为Hive存放的数据是没有索引的,如果没有建立分区直接查询,Hive就会暴力查询,效率很低,所以通过分区能很好提高Hiv...原创 2020-02-19 15:59:27 · 363 阅读 · 0 评论 -
Hive管理表和外部表的区别
前言:所谓外部表,就是Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据,不过描述表的元数据信息会被删除掉。关于Hive数据仓库的管理表(MANAGED_TABLE)和外部表(EXTERNAL_TABLE)的区别,在创表的时候,如果不指定,则默认创建管理表。如果不知道此表是什么类型的表的话,可以在hive的命令行里打desc formatted table_name查看TABLE ...原创 2020-02-19 00:05:28 · 940 阅读 · 0 评论