Jalen big data analysis的博客

一、准备案例数据。二、hive控制台执行创建表2.1、创建hive的两个外部表。2.2、创建一个emp_ptn动态分区表。三、Hive的DQL数据查询（使用交互命令）。3.1、注意：hive的select ...不支持以下类型。3.2、hive -e :不进入hive的交互窗口执行sql语句。3.3、hive -f :不进入hive的交互窗口执行保存了sql语句的文件。四、shell执行hql脚本。五、定时执行hql的shell脚本。

一、整体排名（3种）。-- 普通排名：从1开始，顺序往下排；-- 并列排名：相同的值是相同的排名,不用占空位；-- 并列排名：相同的值是相同的排名,需要占空位；二、分组后组内排名（3种）。--分组普通排名：顺序排名；-- 组内并列排名：相同的值是相同的排名,不需要占空位；-- 组内并列排名：相同的值是相同的排名,需要占空位；三、分组后取各组的前N名.

影评案例知识点：1、数据清洗、特殊分隔符数据上传hive；2、多表连接查询；3、分组查询；4、组内排名，窗口函数；5、行列转换查询；6、分段查询；7、查询并存储；......

目录第一类：累计值的计算第二类：列转行 case ... when.... [collect_list和collect_set]第三类：行转列（Lateral View和UDTF函数（explode、split）结合使用）第四类：截取字段substr(...,...,...)第一类：累计值的计算第一题:根据下列数据，现要求出：每个用户截止到每月为止的最大单月访问次数、累计...

窗口函数是用于分析用的一类函数，要理解窗口函数要先从聚合函数说起。 大家都知道聚合函数是将某列中多行的值合并为一行，比如sum、count等。 而窗口函数则可以在本行内做运算，得到多行的结果，即每一行对应一行的值。 通用的窗口函数可以用下面的语法来概括：分析函数 over([partition by 列名] [order by 列名 [rows between 开始位置 and 结束位置]])

特殊分割符处理：create table tname(...) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties('input.regex'='(.*)\\|\\|(.*)','output.format.string'='%1$s %2$s') stored as textfile;JSON解析函数get_json_object(...);linux文件数据清洗之sed命令.

目录一、练习数据二、单表查询三、多表连接查询四、综合练习题五、查询优化一、练习数据7369 SMITH CLERK 7902 1980-12-17 00:00:00 800.00 207499 ALLEN SALESMAN 7698 1981-02-20 00:00:00 1600.00 300.00 307521 WARD SALESMAN 7698 1981...

Hive 的DDL数据定义。hive数据库增删改查，hive表（内部表、外部表、分区表、分桶表）的增改删。

一、Hive数据类型Hive数据类型 java数据类型 长度 有符号整数最值 / 其他示例 / 说明 tinyint byte 1byte（1个字节8位） 有符号整数 [-128,127] smallint short 2byte（2个字节16位）有符号整数 [-32768,32767] int int 4byte（...

一、Hive 基本使用--最常用的入门语句①启动外置 MySQL 版本hive[hdp@hdp02 ~]$ service mysql start #确保mysql服务开启Starting MySQL SUCCESS! [hdp@hdp02 ~]$ jps #确保集群开启...[hdp@hdp02 ~]$ hive #使用hive的cli命令窗口连接hive&g...

1、hive数据仓库位置配置；Default 数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse 路径下。2、hive.cli查询后信息显示 配置；实现显示当前数据库，及查询表的头信息配置。3、 Hive的log默认存放在/tmp/hdp/hive.log目录下（当前用户名下）。4、3种参数配置的方式（修改配置文件、启动命令时添加hive -hiveconf param=value、启动和后set 临时赋值修改）

目录1、Hive 的概念2、Hive 的特点3、Hive 和 RDBMS（关系型数据库） 的对比4、Hive 和 HBase 的差别5、Hive 架构6、Hive安装与使用方法介绍7、Hive 的数据存储8、table(内部表)和external table(外部表)9、partition(分区表)和bucket(分桶表)1、Hive 的概念1...

一、Hive安装软件下载地址；二、Hive安装--外置 MySQL 版本；三、命令窗口cli、jdbc、webUI的连接配置与使用。