Hive 学习笔记
Hive
andyonlines
趁着热情还在,奋斗吧!
展开
-
hive 管理表和外部表的转换
可以通过查看表的Table Type属性,来判断表的类型!在hive中除了属性名和属性值,其他不区分大小写!(1) MANAGED_TABLE—>EXTERNAL_TABLEalter table 表名 set TBLPROPERTIES('EXTERNAL'='TRUE')(2) EXTERNAL_TABLE—>MANAGED_TABLEalter table 表名 se...原创 2020-04-08 19:53:20 · 384 阅读 · 0 评论 -
hive 复合数据类型的分割符
1 描述数据类型描述语法示例*STRUCT*和c语言中的struct类似,都可以通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。struct()MAPMAP是一组键-值对元组集合,使用数组表示法可以访问数据。例如,如果某个列的数据类型是MAP...原创 2020-04-08 19:16:10 · 475 阅读 · 0 评论 -
五 DML数据操作
文章目录1 导入1.1 load1.2 insert1.3 location1.4 import2、导出2.1 insert2.2 export导出1 导入1.1 loadload data [local] inpath '数据路径' into table 表名 [partition]带local:从本地将数据put到hdfs上的表目录!不带local: 代表将hdfs上的数据,mv到...原创 2020-03-10 10:44:39 · 139 阅读 · 0 评论 -
八 压缩和存储
文章目录1 hadoop压缩格式2 Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置3 开启Map输出阶段压缩4 开启Reduce输出阶段压缩5 文件存储格式5.1 存储的类型5.2 存储文件格式1 hadoop压缩格式原生的hadoop中并不是每个压缩格式都默认支持的,例如snappy,如果要支持snappy压缩格式需要编译hadoop源码以支持snappy压缩格式.(...原创 2020-03-12 09:35:52 · 148 阅读 · 0 评论 -
七 函数
文章目录1 函数的分类2 函数的查看3.NVL3.1介绍3.2使用4.字符串拼接函数4.1 concat4.2 concat_ws5.行转列函数5.1含义5.2 collect_set5.3 collect_list6.判断句式6.1 if6.2 case-when7.列转行7.1 含义7.2 explode8 练习8.1 练习18.1.1 建表8.2 思路18.3 思路28.2 练习28.2.1...原创 2020-03-12 08:25:03 · 272 阅读 · 0 评论 -
六 Hive之查询
文章目录1 基本查询(Select…From)1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit语句2 Where语句2.1 比较运算符(Between/In/ Is Null)2.2 Like和RLike2.3 逻辑运算符(And/Or/Not)3 分组3.1 Group By语句3.2 Having语句4 Join语句4.1 等值Join4.2 表的别名...原创 2020-03-10 14:30:12 · 217 阅读 · 0 评论 -
四 DDL数据定义
文章目录1 创建数据库2 删除数据库3 查询数据库4 修改数据库5 创建表5.1 管理表和外部表5.2 管理表和外部表的转换5.3 分区表5.3.1 作用5.3.2 注意5.3.3 创建5.3.3.1 建表5.3.3.2put导入5.3.3.3 load(load)5.3.4删除分区5.3.5 多级分区表1 创建数据库create database [if not exists] 库名 [c...原创 2020-03-10 09:13:20 · 231 阅读 · 0 评论 -
三 Hive交互命令
文章目录1 查看hive中的变量2.hive交互命令3 hive中属性加载的顺序4 在cli中使用其他命令5 数据类型5.1 基本数据类型5.2 集合数据类型5.3 类型转换1 查看hive中的变量查看hive启动后加载的所有的变量set查看某个指定的参数的值set 属性名对加载的参数进行修改,此次修改只有当前的cli有效,一旦退出就需要重新设置set 属性名=属性值;使用h...原创 2020-03-08 20:49:12 · 134 阅读 · 0 评论 -
二 在cenos上部署Hive环境
1 下载HiveHive官网地址http://hive.apache.org/(注意要和hadoop的版本兼容)2 Hive安装前提先要安装JDK(在环境变量中有JAVA_HOME)安装hadoop(在环境变量中有HADOOP_HOME)安装zookeeper安装了Mysql数据库3 Hive的安装和配置3.1 安装Hive把下载的Hive包解压到一个无中文的目录即可.然...原创 2020-03-08 20:37:48 · 76 阅读 · 0 评论 -
一 Hive简单入门
1 概述1.1 是什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是一种数据仓库软件,使用SQL来促进对分布式设备上存储的大体量的数据集进行读,写和管理!SQL(结构化查询语言),使用SQL的前提是需要有一张表!Hive分析数据必须可以映射为一个表结构!Hive提供了JDBC驱动和命令行工具,让用户连接Hive!Hive基于Hadoop,...原创 2020-03-08 20:20:55 · 142 阅读 · 0 评论