Hive
hive是基于hadoop(Hadoop 是 Apache 旗下的一套开源软件平台)的一个数据仓库工具;Hive 依赖于 HDFS 存储数据,Hive 将 HQL 转换成 MapReduce 执行。那么Hive就只是减轻编程压力,并不会解决执行效率低的问题;
Jalen data analysis
数据分析学者和从业人员
展开
-
Hive控制台、交互命令的使用、shell执行hql脚本、定时任务设定
一、准备案例数据。二、hive控制台执行创建表2.1、创建hive的两个外部表。2.2、创建一个emp_ptn动态分区表。三、Hive的DQL数据查询(使用交互命令)。3.1、注意:hive的select ...不支持以下类型。3.2、hive -e :不进入hive的交互窗口执行sql语句。3.3、hive -f :不进入hive的交互窗口执行保存了sql语句的文件。四、shell执行hql脚本。五、定时执行hql的shell脚本。原创 2020-03-06 18:42:34 · 2728 阅读 · 1 评论 -
SQL语句--mysql排名、分组后组内排名、取各组的前几名
一、整体排名(3种)。-- 普通排名:从1开始,顺序往下排;-- 并列排名:相同的值是相同的排名,不用占空位;-- 并列排名:相同的值是相同的排名,需要占空位;二、分组后组内排名(3种)。--分组普通排名:顺序排名;-- 组内并列排名:相同的值是相同的排名,不需要占空位;-- 组内并列排名:相同的值是相同的排名,需要占空位;三、分组后取各组的前N名.原创 2019-12-11 15:09:35 · 4474 阅读 · 0 评论 -
Hive 案例(1)--- 影评案例
影评案例知识点:1、数据清洗、特殊分隔符数据上传hive;2、多表连接查询;3、分组查询;4、组内排名,窗口函数;5、行列转换查询;6、分段查询;7、查询并存储;......原创 2019-12-10 16:16:05 · 461 阅读 · 0 评论 -
Hive练习(2)---累计值的计算、列转行、行转列、截取字段的经典案例
目录第一类:累计值的计算第二类:列转行 case ... when.... [collect_list和collect_set]第三类:行转列(Lateral View和UDTF函数(explode、split)结合使用)第四类:截取字段substr(...,...,...)第一类:累计值的计算第一题:根据下列数据,现要求出:每个用户截止到每月为止的最大单月访问次数、累计...原创 2019-12-05 16:37:10 · 2061 阅读 · 0 评论 -
Hive的窗口函数
窗口函数是用于分析用的一类函数,要理解窗口函数要先从聚合函数说起。 大家都知道聚合函数是将某列中多行的值合并为一行,比如sum、count等。 而窗口函数则可以在本行内做运算,得到多行的结果,即每一行对应一行的值。 通用的窗口函数可以用下面的语法来概括:分析函数 over([partition by 列名] [order by 列名 [rows between 开始位置 and 结束位置]])原创 2019-12-08 22:39:52 · 1170 阅读 · 0 评论 -
Hive的特殊分割符处理、JSON 解析方法、linux文件数据清洗之sed命令
特殊分割符处理:create table tname(...) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties('input.regex'='(.*)\\|\\|(.*)','output.format.string'='%1$s %2$s') stored as textfile;JSON解析函数get_json_object(...);linux文件数据清洗之sed命令.原创 2019-12-09 17:15:12 · 848 阅读 · 0 评论 -
Hive的DQL(数据查询及优化)
目录一、练习数据二、单表查询三、多表连接查询四、综合练习题五、查询优化一、练习数据7369 SMITH CLERK 7902 1980-12-17 00:00:00 800.00 207499 ALLEN SALESMAN 7698 1981-02-20 00:00:00 1600.00 300.00 307521 WARD SALESMAN 7698 1981...原创 2019-12-06 18:54:43 · 470 阅读 · 0 评论 -
Hive 的DDL数据定义(增删改)
Hive 的DDL数据定义。hive数据库增删改查,hive表(内部表、外部表、分区表、分桶表)的增改删。原创 2019-12-04 20:13:24 · 462 阅读 · 0 评论 -
Hive数据类型、集合(复合)数据类型、类型转化
一、Hive数据类型Hive数据类型 java数据类型 长度 有符号整数最值 / 其他示例 / 说明 tinyint byte 1byte(1个字节8位) 有符号整数 [-128,127] smallint short 2byte(2个字节16位)有符号整数 [-32768,32767] int int 4byte(...原创 2019-12-03 17:49:48 · 709 阅读 · 0 评论 -
Hive 基本使用--最常用的入门语句、Hive常用交互命令、hive其他命令操作
一、Hive 基本使用--最常用的入门语句①启动外置 MySQL 版本hive[hdp@hdp02 ~]$ service mysql start #确保mysql服务开启Starting MySQL SUCCESS! [hdp@hdp02 ~]$ jps #确保集群开启...[hdp@hdp02 ~]$ hive #使用hive的cli命令窗口连接hive&g...原创 2019-11-29 23:00:31 · 669 阅读 · 0 评论 -
Hive常见属性配置--数据仓库位置、hive.cli查询后信息显示、运行日志信息、参数配置的方式
1、hive数据仓库位置配置;Default 数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse 路径下。2、hive.cli查询后信息显示 配置;实现显示当前数据库,及查询表的头信息配置。3、 Hive的log默认存放在/tmp/hdp/hive.log目录下(当前用户名下)。4、3种参数配置的方式(修改配置文件、启动命令时添加hive -hiveconf param=value、启动和后set 临时赋值修改)原创 2019-12-03 13:57:16 · 770 阅读 · 0 评论 -
Hive 的概念、应用场景、安装部署及使用、数据存储 、table(内部表)和external table(外部表)、partition(分区表)和bucket(分桶表)
目录1、Hive 的概念2、Hive 的特点3、Hive 和 RDBMS(关系型数据库) 的对比4、Hive 和 HBase 的差别5、Hive 架构6、Hive安装与使用方法介绍7、Hive 的数据存储8、table(内部表)和external table(外部表)9、partition(分区表)和bucket(分桶表)1、Hive 的概念1...原创 2019-12-02 18:22:08 · 1356 阅读 · 0 评论 -
Hive安装、命令窗口的连接配置与使用介绍
一、Hive安装软件下载地址;二、Hive安装--外置 MySQL 版本;三、命令窗口cli、jdbc、webUI的连接配置与使用。原创 2019-11-28 23:25:52 · 391 阅读 · 0 评论