![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Hi Xiu Hui
这个作者很懒,什么都没留下…
展开
-
HQL之种树题解
一、数据user_low_carbon(user_id String,data_dt String,low_carbon int)u_001 2017/1/1 10plant_carbon(plant_id string,plant_name String,low_carbon int)二、需求一1.蚂蚁森林植物申领统计问题:假设2017年1月1日开始记录低碳数据(user_low_carbon),假设2017年10月1日之前满足申领条件的用户都申领了一颗p004-胡杨,剩余的能量全部用来领原创 2020-07-26 23:40:45 · 485 阅读 · 0 评论 -
HQL练习之谷粒影音
文章目录一、统计视频观看数Top101.思路1.SQL二、统计视频类别热度Top101.思路1.SQL三、统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数1.思路1.SQL四、统计视频观看数Top50所关联视频的所属类别Rank1.思路五、统计每个类别中的视频热度Top10,以Music为例1.思路六、统计每个类别中视频流量Top10,以Music为例1.思路1.SQL七、统计上传视频最多的用户Top10以及他们上传的观看次数在前20的视频1.思路1.SQL八、统计每个类别视频观看原创 2020-07-26 23:29:08 · 401 阅读 · 0 评论 -
hive,spark经典sql题
1. 请使用Spark SQL完成。有50W个京东店铺,每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志,访问日志存储的表名为Visit,访客的用户id为user_id,被访问的店铺名称为shop,请统计:1)每个店铺的UV(访客数)2)每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数数据如下:u1 au2 bu1 bu1 au3 cu4 bu1 au2 cu5 bu4 bu6 cu2 cu1 bu2 au2 au3 au5 a原创 2020-06-14 12:36:58 · 1000 阅读 · 1 评论 -
在hive上运行insert语句,报检查虚拟内存大小不够问题,tez
1.由于Hive合成了Tez引擎,Tez加载需要预留大量的内存,所以才高速运行。有时会报这个错Container killed on request. Exit code is 143Container exited with a non-zero exit code 143Failing this attempt. Failing the application.2020-04-04T1...原创 2020-04-04 15:23:26 · 1046 阅读 · 0 评论 -
三个表进行join连接时,会产生几个MRjob
1.如果每个on子句都使用相同的连接键的话,那么只会产生1个MapReduce job,不相同的连接键的话是2个MapReduce job原创 2020-03-12 16:46:58 · 1013 阅读 · 0 评论 -
hql的执行顺序(重点!!!!!)
在hive中,HQL语句的执行顺序如下1.from----> where---->group by ----> select---->having ---->order by原创 2020-03-12 16:27:13 · 1818 阅读 · 3 评论 -
如何进行hive优化
一、优化1.fetch抓取 一些HQL语句,可以不翻译为MR程序,而是使用FetchTask来运行,拉取数据! 启用了fetch抓取,可以节省某些HQL语句的查询效率! 默认fetch抓取的设置是开启的,为morehive.fetch.task.conversion=more 一般不需要设置!2.表的Join2.1表Join的顺序 在hive中,不管是 大表...原创 2020-03-12 14:34:57 · 351 阅读 · 0 评论 -
写HQL时,怎么区分用分组还是分区
444444原创 2020-03-10 15:13:25 · 340 阅读 · 0 评论 -
启动 hiveserver2失败,一直卡住
一.要知道,HiveJDBC访问Hive,1.必须先启动hiveserver2服务[atguigu@hadoop102 hive]$ bin/hiveserver22.启动beeline[atguigu@hadoop102 hive]$ bin/beelineBeeline version 1.2.1 by Apache Hivebeeline>3.连接hiveserver...原创 2020-03-05 16:54:13 · 12826 阅读 · 1 评论 -
配置Metastore到MySql 启动hive报错问题
一.1.在/opt/module/hive/conf目录下创建一个hive-site.xml2.配置hive-site.xml文件(备注:mysql装在哪台主机上写哪台,要存在metastore数据库,链接数据库的用户名密码要对!)<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configurati...原创 2020-03-04 19:43:25 · 613 阅读 · 1 评论 -
简单的一个ETL数据清洗程序(MR)
数据样本:/**SDNkMu8ZT68 w00dy911 630 People & Blogs 186 10181 3.49 494 257 rjnbgpPJUks EYC5bWF0ss8 EUPHdnE83GY*/1.1ETL需求①在一个表中不管是什么集合类型,集合之间元素的分隔符必须统一 在清洗时,需要让集合中元素的分隔符统一。将related ids元素的分隔符统一...原创 2020-03-10 15:24:19 · 2191 阅读 · 0 评论