![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive学习
student__software
这个作者很懒,什么都没留下…
展开
-
Hive简介和架构
第1章 Hive基本概念1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序? 怎么进行转换的,详见https://blog.csdn.net/qq_26442553/article/details...原创 2018-08-11 11:14:09 · 14211 阅读 · 1 评论 -
Hive之爆炸函数
本部分主要讲述了列转行函数,是最最最最常用的函数,爆炸函数1、函数说明1)explode(col):explode 函数是UFTF函数,将hive一列中复杂的array或者map结构拆分成多行。Explode函数是不允许在select再有其他字段,explode(ARRAY) 列表中的每个元素生成一行explode(MAP) map中每个key-value对,生成一...原创 2018-08-13 20:11:50 · 22585 阅读 · 0 评论 -
Hive函数之行转列
介绍三种常用函数,空字段赋值,行转列,case when,一、NVL函数空字段赋值,语法:nvl(string1,replaceValue),当某值为空时调用,二、case when就相当于java中switch case,记得最后一定要加end,else就相当于java中的defalut举例:select dept_id, sum(case sex when...原创 2018-08-13 19:43:56 · 13974 阅读 · 0 评论 -
Hive分桶和抽样查询
一、分桶 分区针对的是数据的存储路径;分桶针对的是数据文件,就相当于hadoop里面的真正的分区。 ★怎么选择桶?默认时对某一列进行hash,使用hashcode对 桶的个数求模取余,确定哪一条记录进入哪一个桶。分桶后,桶内有序,整体不一定有序。 分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定...原创 2018-08-13 19:28:37 · 2264 阅读 · 1 评论 -
Hive查询之排序
一、查询语句注意事项1、where子句中不能使用字段别名2、like和rlike1)使用LIKE运算选择类似的值2)选择条件可以包含字符或数字:% 代表零个或多个字符(任意个字符)。_ 代表一个字符。3)RLIKE子句是Hive中这个功能的一个扩展,其可以通过Java的正则表达式这个更强大的语言来指定匹配条件。4)案例实操 (1)查找以2开头薪水的员...原创 2018-08-13 19:10:23 · 9904 阅读 · 0 评论 -
Hive数据导入导出
Hive的数据导入导出指的是将数据从本地或者是hdfs导入到表中,其中本地导入的话,其实是两部操作,一是上传到hdfs,二是在hdfs移动到仓库位置。记住,本地上传一定要加local一、数据导入1、Load模式1)语法hive> load data [local] inpath 文件路径 [overwrite] into table 表名 [partition (pa...原创 2018-08-13 18:29:49 · 555 阅读 · 0 评论 -
Hive的DDL操作
本部分主要是讲述了两部分:一个是对数据库的增删查改,一个是对表的增删改重点:创建表的完整创建过程,分区表的理解和操作引言 其实alter命令就是在操作元数据,其实就是对mysql的数据库中的元数据进行操作一、数据库的DDL1、 创建数据库1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (de...原创 2018-08-11 16:57:13 · 1999 阅读 · 1 评论 -
Hive数据类型---以集合类型为主
1、hive的常见的数据结构 Hive数据结构 Java数据结构 int int bigint long string string hive的数据类型基本没变,除了long变成bigint之外,其他的都没有变2、集合类型 数据类型 描述 语法示例 STRU...原创 2018-08-11 16:22:21 · 1637 阅读 · 0 评论 -
Hive的常见属性配置和其他命令
Hive的一些常见配置有,比如:更改数据仓库位置,在shell中显示数据库名,执行查询时显示字段名等一、Hive中的常见的其他命令$ bin/hive -help可以查看hive的命令以及解释1、“-e” 不进入hive窗口就可以执行sql$ bin/hive -e "select id from student;"2、“-f”执行脚本中sql语句执行文件中的sql语句并将...原创 2018-08-11 11:59:00 · 707 阅读 · 0 评论 -
Hive安装以及和Mysql关联
一、Hive的安装地址1.Hive官网地址http://hive.apache.org/2.文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3.下载地址http://archive.apache.org/dist/hive/4.github地址https://github.co...原创 2018-08-11 11:44:01 · 1271 阅读 · 1 评论 -
Hive窗口函数Over和排序函数Rank
简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析概念我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的...转载 2018-08-13 20:33:39 · 8466 阅读 · 0 评论