hive
sisi.li8
热爱技术,拥抱开源
展开
-
数据仓库中mysql,hive,hdfs,mapreduce之间的关系
交流中发现很多hive转行的开发者都不是特别清楚,hive既然是数据仓库,那为什么还需要mysql数据库,还需要hdfs呢,熟悉三者之间的关系是作为一个合格的hive数据仓库开发者必须掌握的技能一.什么是Hive与其特点官网介绍:The Apache Hive ™ data warehouse software facilitates reading, writing, and managin...原创 2019-09-12 16:37:07 · 767 阅读 · 0 评论 -
Spark连接hive出错,table not found
运行通过maven构建好的jar出错:Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view ‘zgw’ not found in database ‘default’;Exception in thread "main" org.apache.s...原创 2019-04-02 22:09:37 · 2879 阅读 · 0 评论 -
Hive分区修复命令MSCK介绍与使用
我们在使用Hive的时候肯定遇到过建立了一张分区表,然后手动(比如使用 cp 或者 mv )将分区数据拷贝到刚刚新建的表作为数据初始化的手段;但是对于分区表我们需要在hive里面手动将刚刚初始化的数据分区加入到hive里面,这样才能供我们查询使用,我们一般会想到使用 alter table add partition 命令手动添加分区,但是如果初始化的分区太多,这样一条一条地手动添加分区不免过于麻...原创 2019-03-27 11:12:55 · 2552 阅读 · 0 评论 -
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order byHive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这将会消耗很长的时间去执行。这里跟传统的sql还有一点区别:如果指定了hi...转载 2019-02-27 11:48:10 · 174 阅读 · 0 评论 -
大数据时代的技术hive:hive的数据类型和数据模型
在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。关系数据库里有表(table),分区,hive里也有这些东西,这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型,数据模型以及文件存储格式。这些知识大家可以类比...转载 2019-02-27 11:37:38 · 300 阅读 · 0 评论 -
HBase删除表
用drop命令可以删除表。在删除一个表之前必须先将其禁用。hbase(main):018:0> disable 'emp'0 row(s) in 1.4580 seconds使用exists 命令验证表是否被删除hbase(main):019:0> drop 'emp'0 row(s) in 0.3060 secondsdrop_all这个命令是用来在给出删除匹配“...原创 2019-01-02 15:13:41 · 4405 阅读 · 0 评论 -
hive的分区简介
网上有篇关于hive的partition的使用讲解的比较好,转载了:一、背景1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned ...原创 2019-01-08 15:13:21 · 367 阅读 · 0 评论 -
hive常见操作
转自https://www.cnblogs.com/ggjucheng/archive/2013/01/04/2844393.html这里罗列常用操作,更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable简单...原创 2019-02-21 14:32:50 · 237 阅读 · 0 评论 -
Hive 的insert into 和 insert overwrite
区分insert into 和 insert overowrite:1、insert into 语句Hive> insert into table account select id,age,name from account_tmp;2、insert overwrite语句hive> insert overwrite table account2 select id,age,...原创 2019-02-21 15:11:18 · 1182 阅读 · 1 评论