hive
李景山-编程者
就是想简单的写代码.......................
展开
-
HIVE 性能优化
1.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总合并优化...转载 2018-08-10 09:44:37 · 353 阅读 · 0 评论 -
hive 与 hdfs 文件的关系
Hive 是一个建立在hadoop文件系统上的数据仓库架构,可以用其对hdfs上数据进行分析与管理。实际上是将hdfs上的文件映射成table(按文件格式创建table,然后hive的数据仓库会生成对应的目录,默认的仓库路径:user/hive/warehouse/tablename,目录名与这个表名相同,这时只要将符合table定义的文件加载到该目录便可通过Hql对整个目录的文件进行查询了。...转载 2018-09-17 09:58:02 · 18968 阅读 · 0 评论 -
hive 的数据模型中四种表:
-Table内部表 -External Table 外部表 -Partition分区表 -Bucket Table 桶表原创 2018-09-17 09:58:49 · 1196 阅读 · 0 评论 -
hive 知识架构图
hive 全部知识结构图解原创 2018-09-18 09:37:03 · 233 阅读 · 0 评论 -
hive Alter Table 语句
它是在Hive中用来修改的表。语法声明接受任意属性,我们希望在一个表中修改以下语法。ALTER TABLE name RENAME TO new_nameALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])ALTER TABLE name DROP [COLUMN] column_nameALTER TABLE name CHA...原创 2018-09-18 14:37:04 · 2439 阅读 · 0 评论 -
HIVE HSQL 基本操作命令
创建表: hive>create table tablename(id int,name string,password string); 创建一个名字为tablename的表,表的属性有int id; string name; string password;创建表时指定分隔符 hive> create table test1(name strin...转载 2018-09-14 16:38:41 · 1145 阅读 · 0 评论