Hive 学习笔记
Hive
andyonlines
趁着热情还在,奋斗吧!
展开
-
hive 管理表和外部表的转换
可以通过查看表的Table Type属性,来判断表的类型! 在hive中除了属性名和属性值,其他不区分大小写! (1) MANAGED_TABLE—>EXTERNAL_TABLE alter table 表名 set TBLPROPERTIES('EXTERNAL'='TRUE') (2) EXTERNAL_TABLE—>MANAGED_TABLE alter table 表名 se...原创 2020-04-08 19:53:20 · 371 阅读 · 0 评论 -
hive 复合数据类型的分割符
1 描述 数据类型 描述 语法示例 *STRUCT* 和c语言中的struct类似,都可以通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP MAP是一组键-值对元组集合,使用数组表示法可以访问数据。例如,如果某个列的数据类型是MAP...原创 2020-04-08 19:16:10 · 450 阅读 · 0 评论 -
五 DML数据操作
文章目录1 导入1.1 load1.2 insert1.3 location1.4 import2、导出2.1 insert2.2 export导出 1 导入 1.1 load load data [local] inpath '数据路径' into table 表名 [partition] 带local:从本地将数据put到hdfs上的表目录! 不带local: 代表将hdfs上的数据,mv到...原创 2020-03-10 10:44:39 · 126 阅读 · 0 评论 -
八 压缩和存储
文章目录1 hadoop压缩格式2 Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置3 开启Map输出阶段压缩4 开启Reduce输出阶段压缩5 文件存储格式5.1 存储的类型5.2 存储文件格式 1 hadoop压缩格式 原生的hadoop中并不是每个压缩格式都默认支持的,例如snappy, 如果要支持snappy压缩格式需要编译hadoop源码以支持snappy压缩格式.(...原创 2020-03-12 09:35:52 · 133 阅读 · 0 评论 -
七 函数
文章目录1 函数的分类2 函数的查看3.NVL3.1介绍3.2使用4.字符串拼接函数4.1 concat4.2 concat_ws5.行转列函数5.1含义5.2 collect_set5.3 collect_list6.判断句式6.1 if6.2 case-when7.列转行7.1 含义7.2 explode8 练习8.1 练习18.1.1 建表8.2 思路18.3 思路28.2 练习28.2.1...原创 2020-03-12 08:25:03 · 257 阅读 · 0 评论 -
六 Hive之查询
文章目录1 基本查询(Select…From)1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit语句2 Where语句2.1 比较运算符(Between/In/ Is Null)2.2 Like和RLike2.3 逻辑运算符(And/Or/Not)3 分组3.1 Group By语句3.2 Having语句4 Join语句4.1 等值Join4.2 表的别名...原创 2020-03-10 14:30:12 · 190 阅读 · 0 评论 -
四 DDL数据定义
文章目录1 创建数据库2 删除数据库3 查询数据库4 修改数据库5 创建表5.1 管理表和外部表5.2 管理表和外部表的转换5.3 分区表5.3.1 作用5.3.2 注意5.3.3 创建5.3.3.1 建表5.3.3.2put导入5.3.3.3 load(load)5.3.4删除分区5.3.5 多级分区表 1 创建数据库 create database [if not exists] 库名 [c...原创 2020-03-10 09:13:20 · 213 阅读 · 0 评论 -
三 Hive交互命令
文章目录1 查看hive中的变量2.hive交互命令3 hive中属性加载的顺序4 在cli中使用其他命令5 数据类型5.1 基本数据类型5.2 集合数据类型5.3 类型转换 1 查看hive中的变量 查看hive启动后加载的所有的变量 set 查看某个指定的参数的值 set 属性名 对加载的参数进行修改,此次修改只有当前的cli有效,一旦退出就需要重新设置 set 属性名=属性值; 使用h...原创 2020-03-08 20:49:12 · 125 阅读 · 0 评论 -
二 在cenos上部署Hive环境
1 下载Hive Hive官网地址 http://hive.apache.org/ (注意要和hadoop的版本兼容) 2 Hive安装前提 先要安装JDK(在环境变量中有JAVA_HOME) 安装hadoop(在环境变量中有HADOOP_HOME) 安装zookeeper 安装了Mysql数据库 3 Hive的安装和配置 3.1 安装Hive 把下载的Hive包解压到一个无中文的目录即可.然...原创 2020-03-08 20:37:48 · 62 阅读 · 0 评论 -
一 Hive简单入门
1 概述 1.1 是什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是一种数据仓库软件,使用SQL来促进对分布式设备上存储的大体量的数据集进行读,写和管理! SQL(结构化查询语言),使用SQL的前提是需要有一张表! Hive分析数据必须可以映射为一个表结构! Hive提供了JDBC驱动和命令行工具,让用户连接Hive! Hive基于Hadoop,...原创 2020-03-08 20:20:55 · 120 阅读 · 0 评论