Hive
Quinto0
Learning is the highest
展开
-
DistCp迁移Hive数据过程中源集群增加删除文件等场景测试
1 概述 由于在数据迁移过程中,上层任务仍在运行,会出现源集群新增文件及删除文件的情况,因此进行测试2 需要同步的数据文件说明 源集群:192.168.40.100:8020,目标集群:192.168.40.200:8020 数据目录及其大小如下1.8 G 5.5 G /user/hive/warehouse/iot.db/dwd_pollution_distcp 这个文件对应的表为dwd_pollution_distcp,共有20140801-20140930这些分区3原创 2020-10-23 17:57:48 · 1684 阅读 · 0 评论 -
Hive基本操作
Hive基本操作1 DDL操作1.1 数据库操作(1)创建库: #语法结构 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hd...原创 2019-08-13 23:00:41 · 159 阅读 · 0 评论 -
Hive解题思路
Hive解题思路1 相关知识讲解1.1 HQL语句的语法sql语句的语法:select ..... from .... join ..... where .....group by ... having...order by|sort by|cluster by|distribu...原创 2019-08-19 08:59:58 · 633 阅读 · 0 评论 -
Hive高级操作
Hive高级操作1 Hive的数据类型1.1 原子数据类型(1)Hive 是用 Java 开发的,Hive 里的基本数据类型和 java 的基本数据类型也是一一对应的, 除了 String 类型。(2)有符号的整数类型:TINYINT、SMALLINT、INT 和 BIGINT 分别等价于 ...原创 2019-08-19 21:52:54 · 167 阅读 · 0 评论 -
Hive基础知识
Hive基础知识1Hive相关概念1.1 Hive是什么Hive是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据映射为一张数据库表,并提供 HQL(Hive SQL)查询功能,最终底层将HQL语句转换为MapReduce任务的,底层数据是存储在 HDFS 上。1.2 Hive的产...原创 2019-08-12 21:30:44 · 217 阅读 · 0 评论 -
Hive内置函数大全
Hive内置函数大全目录 Hive内置函数大全1.复合类型构造函数2 复合类型操作符3数值计算函数4 日期函数5条件函数6字符串函数7汇总统计函数(UDAF)8表格生成函数(UDTF)9 类型转换...原创 2019-08-17 16:26:07 · 1175 阅读 · 0 评论