hive
文章平均质量分 70
皮卡帅
万丈红尘一杯酒,千秋大业一壶茶。
展开
-
sql实现用户ID关系数据归一化绑定(可根据多列聚合,存在多列,任意一个列出现相等情况则这些数据属于同一个人或者说同一个标识)
sql实现数据归一化工作中真实数据因涉及法律责任不便展示,以下为模拟数据。注:务必看完此文章因为第一种实现存在bug,后边附带解释以及完整代码。模拟数据:我们拿三个列实现归一作为举例,n列同理。 SELECT '1' unionid,'3' userid,'1' phoneid UNION ALL SELECT '1' unionid,'4' userid,'3' phoneid UNION ALL SELECT '2' unionid,'3' userid,'原创 2021-01-15 02:08:25 · 14506 阅读 · 2 评论 -
详细hive sql 执行顺序
执行顺序从1到91.from2.join on 或 lateral view explode3.where4.group by (group 以后可以使用别名)5.聚合函数 如sum() avg() count()6.having (group 可以在group之后再进行过滤)7.select 中若包含over() 开窗函数,执行完非开窗函数后,select执行开窗函数,开窗函数通过表数据进行分区和排序,跟select查询中的字段是平行关系,不依赖查询字段。8.distinct9.o转载 2020-11-16 16:50:16 · 15178 阅读 · 0 评论 -
最全HIVE SQL字符串运算(字符串拼接、补足、拆分、截取、反转、trim修剪、ascii码、json解析、位置查找等)
最全HIVE字符串运算(字符串拼接、补足、拆分、截取、反转、trim修剪、ascii码、json解析、位置查找)加粗样式1、字符串长度函数:length语法: length(string A)返回值: int说明:返回字符串A的长度举例:hive> select length(‘abcedfg’)72、字符串反转函数:reverse语法: reverse(string A)返回值: string说明:返回字符串A的反转结果举例:hive> select reverse(转载 2020-09-02 16:23:43 · 25998 阅读 · 0 评论 -
HIVE 建表 插入数据 文件格式与压缩格式算法比较
HIVE 文件格式与压缩格式一: mapreduce 的压缩mapreduce 压缩 主要是在shuffle阶段的优化。shuffle 端的–partition (分区)– sort (排序)– combine (合并)– compress (压缩)– group (分组)在mapreduce 优化shuffle 从本质上是解决磁盘的IO 与网络IO 问题。减少 集群件的文件传输处理。二: hive 的压缩:压缩的和解压需要cpu的,hive 的常见的压缩格式:bzip2,gzip转载 2020-08-24 14:09:22 · 15109 阅读 · 0 评论 -
HIVE面试题原理详解 统计用户连续交易的总额、连续登陆天数、连续登陆开始和结束时间、间隔天数
HIVE面试题原理详解 统计用户连续交易的总额、连续登陆天数、连续登陆开始和结束时间、间隔天数下面遇到不懂的窗口函数可自行学习创建数据表添加数据流程图第一步分析(子表a)第二步分析(子表b)第三步分析(子表c)完整的hql语句如下:总结下面遇到不懂的窗口函数可自行学习创建数据表create table lianxv(uid int comment "用户id",utime string ...原创 2019-12-11 16:54:58 · 15507 阅读 · 1 评论