Aidon博客

需求：对新建hadoop集群和hive集群的安全认证安装部署。版本：centos 7.7hadoop 2.7.6hive 1.2.2部署规划：ip主机服务192.168.216.111hadoop01namenode、resourcemanager、datanode、nodemanager、hive、KDC服务192.168.216.112ha...

1、hive存储过程简介1.x版本的hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop），并且在未来的Hive的版本（2.0）中，会将该模块集成进...

hive自定义函数1 自定义函数1.1 为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。1.2 常见自定义函数有哪些UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。UDTF：用户自定义表生成函数。user defined table...

文章目录1 tez的概览1.1 tez介绍1.1.1 介绍2 tez的安装2.1 tez下载2.2 tez源码编译2.3 tez的安装2.3.1 解压并配置环境2.3.2 配置配置文件2.4 tez、hadoop、hive整合2.4.1 tez和hadoop的兼容2.4.2 tez和hive结合3 tez案例3.1 tez执行3.2 还原mr执行4 tez优化5 更新tez1 tez的概览环境...

hive常用内部函数hive是一种典型的数据仓库分析工具，常用语编写hql语句进行指标分析。在编写hql的过程中无疑会用到很多的函数，哪本章来编写一些常见的函数。常见函数很多，不同常见不同人员，使用不一样，不喜勿喷。1、随机函数rand()格式：rand([int seed])返回：double-- 取0-1的随机值select rand();-- 指定随机函数的种子seed，该...

1 hive窗口函数在平时的开发中常用那些hive函数？？1、字符串操作函数？split、concat、ifnull、cast2、聚合函数 ： hive适用于分析，所以常用。3、时间函数 ： 数仓的特征随时间变化而变化，所以时间也特别多哪窗口函数到底是什么鬼？？hive中窗口函数是聚合函数的增强实现，是针对分组后，还需要对组内的每行数据返回一个对应的统计值。而这个聚合函数很难做到，聚...