![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
微风凉
这个作者很懒,什么都没留下…
展开
-
hive -- hive.auto.convert.join优化
对于这参数一定要使用的谨慎一些:参数详细:具体实验:hive> show databases;OKdefaultTime taken: 0.993 seconds, Fetched: 3 row(s)hive> create database test;OKTime taken: 1.192 secondshive> use test;OKTime t...原创 2019-11-06 11:53:47 · 11401 阅读 · 0 评论 -
hivesql(4)
有一个5000万的用户文件(user_id,name,age),一个2亿记录的用户看电影的记录文件(user_id,url),根据年龄段观看电影的次数进行排序?先求出每个人看了几次电影,t1然后t1和user表join,拼接age字段 t2表划分年龄段,0-20,20-40,40-60,60–按年龄段分组,按照次数排序建表create table forth_user(user_id st...原创 2019-10-18 13:55:39 · 642 阅读 · 0 评论 -
hive 函数(二)
七、集合操作函数map 类型大小:size语法: size(Map<K.V>)返回值: int说明: 返回 map 类型的 size举例:hive> select size(map(‘k1’,‘v1’,‘k2’,‘v2’)) from lgy;OK2array 类型大小:size语法: size(Array)返回值: int说明: 返回 array...原创 2019-08-28 10:16:31 · 142 阅读 · 0 评论 -
hive UDAF函数 (四)
个数统计函数: count语法: count(), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count()统计检索出的行的个数,包括 NULL 值的行;count(expr)返回指定字段的非空值的个数;count(DISTINCT expr[, expr_.])返回指定字段的不同的非空值的个数举例:hive>...原创 2019-08-28 10:22:22 · 1854 阅读 · 0 评论 -
hive 函数(三)
If 函数: if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件 testCondition 为 TRUE 时,返回 valueTrue;否则返回 valueFalseOrNull举例:hive> select if(1=2,100,200) from lgy;200hi...原创 2019-08-28 10:25:12 · 283 阅读 · 0 评论 -
hivesql uv
进来闲来无事,总结一下数仓面试吧!希望对小白有点用!有50W个某东网站店铺,每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志,访问日志存储的表名为Visit,访客的用户id为user_id,被访问的店铺名称为shop,请统计:1)每个店铺的UV(访客数)2)每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数1首先,先明白什么是uv?即(独立的访客)...原创 2019-08-29 00:44:44 · 497 阅读 · 0 评论 -
sql
已知一个表STG.ORDER,有如下字段:Date,Order_id,User_id,amount。请给出sql进行统计:数据样例:2017-01-01,10029028,1000003251,33.57。1)给出 2017年每个月的订单数、用户数、总成交金额。2)给出2017年11月的新客数(指在11月才有第一笔订单)建表语句create table second_order(`Date...原创 2019-10-18 00:06:55 · 460 阅读 · 0 评论 -
hive 函数(1)
四、复合类型构造函数map 结构语法:map(k1,v1,k2,v2,…)操作类型:map说明:使用给定的 key-value 对,构造一个 map 数据结构举例:hive> select map(‘k1’,‘v1’,‘k2’,‘v2’) from lgy;OK{“k2”:“v2”,“k1”:“v1”}struct 结构语法:struct(val1,val2,val3,...原创 2019-08-28 10:12:24 · 252 阅读 · 0 评论 -
hive sql每个用户的累积访问次数
我们有如下的用户访问数据userIdvisitDatevisitCountu012017/1/215u022017/1/236u032017/1/228u042017/1/203u012017/1/236u012017/2/218U022017/1/236U012017/2/224要求使用SQL...原创 2019-08-28 00:07:38 · 2606 阅读 · 0 评论 -
hive sql union all的性能优化
union的巧妙用法,使用union也可以横向合并sql查询结果我们都知道union是纵向连接查询结果,join是横向,但是用union all连接大家试过吗?恢复菜鸟代码如下:select ep.productid,productname,count(st.tduserid),count(distinct sl.tduserid),count(distinct sn.tduserid),a...转载 2019-08-13 11:44:10 · 6089 阅读 · 0 评论 -
Hive去重以及group by与distinct性能的比较
在hive数据清洗这里总结三种常用的去重方式1.distinct2.group by3.row_number()eg:SELECT order_id, order_name, cate_type, modify_time,row_number() over(PARTITION BY order_id ORDER BY order_id DESC) num FROM order_info...转载 2019-08-09 15:42:38 · 4241 阅读 · 4 评论 -
Hive的学习
hive的基础学习为什么要使用Hive ?(1)操作接口采用类SQL语法,提供快速开发的能力。(2)避免了去写MapReduce,减少开发人员的学习成本。(3)扩展功能很方便。Hive的特点1.可扩展Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。2.延展性Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。3.容错良好的容错性,节点出现问题SQL...原创 2019-07-17 12:30:09 · 120 阅读 · 0 评论 -
hive关键字 在json字符串中查询处理。。。。。
azkaban上运行hive查询语句,有字段是关键字,然后加上``(反引号)这个符号后,azkaban就识别不到这个字段了!打印信息类型为:解决办法为:反引号加\转义一下就可以嵌套在脚本中使用了!...原创 2019-08-06 15:56:00 · 1610 阅读 · 0 评论 -
hive-sql 最认真的整理一回
数据是网上的 自己找create table sds(sid string,sname string,sage INT,ssex string)row format delimited fields terminated by ‘,’stored as textfilecreate table cs(cid string,cname string,tid string)...原创 2019-08-09 17:24:42 · 244 阅读 · 0 评论 -
hive on Tez :TezSession has already shutdown
今天搭建hive on tez 报错误Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1565763986535_0001 failed 2 times due to AM Container for appattempt_...原创 2019-08-14 14:57:57 · 3172 阅读 · 1 评论 -
hive desc 表时 注释中文乱码问题
这个问题终于解决了! 这个问题对于强迫症来说,不解决心里面就是缺陷!碍眼!难受!上网搜索一下修改hive存储在mysql里的元数据相关信息use hive;a. 修改字段注释字符集alter table COLUMNS_V2 modify columnCOMMENT varchar(256) character set utf8;b. 修改表注释字符集alter...原创 2019-08-19 18:13:50 · 504 阅读 · 0 评论 -
hive get_json_object() 解析嵌套json字符串
测试 数据为:line={“store”:{“fruit”:[{“weight”:9,“type”:“apple”}, {“weight”:10,“type”:“pear”}],“bicycle”:{“price”:20,“color”:“red”}},“email”:“leaves@json_udf_test.net”,“owner”:“leaves”}get单层值hiv...原创 2019-08-15 16:47:21 · 13420 阅读 · 8 评论 -
hive 实际开发中udf 的编写
测试数据为:“1541217850325|{“cm”:{“mid”:“m7856”,“uid”:“u8739”,“ln”:”-74.8",“sv”:“V2.2.2”,“os”:“8.1.3”,“g”:“P8XC9326@163.com”,“nw”:“5G”,“l”:“es”,“vc”:“6”,“hw”:“640*960”,“ar”:“MX”,“t”:“1541204134250”,“la”:"-...原创 2019-08-15 17:14:36 · 300 阅读 · 0 评论 -
hive sql shell日期编写总结
#当前日期$ date +%F[root@kafka02 kafka]# date +%F2019-08-12#当前时间$ date +"%F %H:%M:%S"[root@kafka02 kafka]# date +"%F %H:%M:%S"2019-08-12 12:23:20#昨日$ date -d yesterday +%F#上一个月$ date -d “KaTeX ...原创 2019-08-12 12:34:12 · 513 阅读 · 0 评论 -
hive-sql 最认真的整理一回(=)
18、查询按各科成绩进行排序,并显示排名学生信息:– row_number() over()分组排序功能(mysql没有该方法)select a.sid, s.sname, tmp.cid, tmp.score, tmp.rank from sds a join ( select sid, cid, score, row_number() over(part...原创 2019-08-13 18:00:06 · 147 阅读 · 0 评论