![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 75
iQian²
越努力,越幸运!
展开
-
浅析数据仓库与数据库的区别
数据仓库(Data Warehouse)是一个面向主题(Subject Oriented)、集成(Integrate)、相对稳定的(Non-Volatile)、反应历史变化(Time Variant)的数据集合,用于支持管理决策。其中:(1)面向主题:数据仓库中的数据是根据某个主题域进行组织的。(2)集成:指对原有分散的数据库数据经过系统加工,整理得到的消除源数据中的不一致。(3)相对稳...原创 2019-08-18 18:51:16 · 429 阅读 · 0 评论 -
Hive窗口函数小结
over开窗函数 和group by的区别: OVER子句用于为行为定义一个窗口(windows),以便进行特定的运算。可以把行的窗口简单地认为是运算将要操作的一个行的集合。 例如,聚合函数和排名函数都是可以支持OVER子句的运算类型。由于OVER子句为这些函数提供了一个行的窗口,所以这些函数也称之为开窗函数。 聚合函数的要点就是要对一组值...原创 2019-08-17 22:49:33 · 171 阅读 · 0 评论 -
转义字符表
所有的转义字符和所对应的意义:转义字符意义ASCII码值(十进制)\a响铃(BEL)007\b退格(BS) ,将当前位置移到前一列008\f换页(FF),将当前位置移到下页开头012\n换行(LF) ,将当前位置移到下一行开头010\r回车(CR) ,将当前位置移到本行开头013\t水平制表(HT) (跳到下一个TAB位置)009\v垂直制表(VT)011\\代表一个反斜线字符'...原创 2019-08-17 19:57:21 · 307 阅读 · 0 评论 -
hive-逐行累计案例(order by 或 sort by)
现有这么一批数据,现要求出:每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数三个字段的意思:用户名,月份,访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,201...原创 2019-08-17 19:49:41 · 1553 阅读 · 0 评论 -
hive-行列转换案例
案例一:有如下数据:1,1,yuwen,432,1,shuxue,553,2,yuwen,774,2,shuxue,885,3,yuwen,986,3,shuxue,657,3,yingyu,80求:所有语文课程成绩 大于 数学课程成绩的学生的学号。建表结果:+------------+-------------+----------------+-------...原创 2019-08-17 19:08:09 · 163 阅读 · 0 评论 -
hive 复杂数据类型map和array 使用案例
有一张hive表,表名stdent_score,包含两列,分别是学生姓名name(类型string),学生成绩score(类型map<string,int>或者 array<string>) ,成绩列中key是课程名称,例如语文、数学等,value是对应课程分数(0-100),请用一个hql求一下每个学生成绩最好的课程及分数、最差的课程及分数、平均分数表名称:...原创 2019-08-17 17:23:56 · 773 阅读 · 1 评论 -
hive ---求行差值案例---判断行值是否相等案例 【lag, lead, frist_value, last_value】的使用案例
假设有表goods(日期,产品id,产品当日收入,产品当日成本),日期和产品id是组合主键,有若干条数据,日期范围2016年1月1日至今,且一定每个产品,每天都有数据写出SQL实现如下要求:数据文件:goods.txt数据:2018-03-01,a,3000,25002018-03-01,b,4000,32002018-03-01,c,3200,24002018-03-01,d,3...原创 2019-08-17 18:34:31 · 1891 阅读 · 0 评论 -
hive--TopN 案例
题目要求:现在有这样一份数据:1,huangxiaoming,45,a-c-d-f2,huangzitao,36,b-c-d-e3,huanglei,41,c-d-e4,liushishi,22,a-d-e5,liudehua,39,e-f-d6,liuyifei,35,a-d-e字段的意义:id,name,age,favorsid,姓名,年龄,爱好其中需要注意的是:每...原创 2019-08-17 19:09:46 · 288 阅读 · 0 评论 -
Hive最全常用操作大全
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。 ...转载 2019-08-17 14:33:39 · 483 阅读 · 0 评论 -
sqoop报错: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set 解决方法
今天在用sqoop将mysql数据导入hive时报错:hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.19/08/25 19:27:45 ERROR tool.ImportTool: Import failed: jav...原创 2019-08-25 19:53:35 · 473 阅读 · 0 评论 -
hive Missing artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 解决方案
用maven引入hive的jar包,pom.xml文件显示如下错误信息:Missing artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde原因:引用jar包未能下载。解决方法:首先:从如下网址下载jar,上传到maven本地库路径org/pentaho/pentaho-aggdesigner-al...原创 2019-08-19 14:29:28 · 5259 阅读 · 4 评论 -
数据湖、数据仓库、数据库: 区别是什么?
近来数据湖日益流行,而且往往与数据仓库相对比。认识到二者之间存在许多差异,不应该以同样的方式使用是十分重要的。数据仓库保存组织中各种来源的大量数据,用于指导管理决策,而数据湖是数据存储库或简称存储库,需要使用之前以原始格式保存大量原始数据。此外,数据库指保存在计算机上便于通过各种不同方式访问的结构化数据。本文将进一步详细说明这三个实体之间的主要差别,以及需要考虑的风险,以便做出明智决策...转载 2019-08-18 19:02:36 · 2491 阅读 · 0 评论