Hive SQL 小练习

set hive.execution.engine=tez;
set hive.cli.print.current.db=true;
set hive.exec.dynamic.partition.mode=nonstrict;

1.求购买前后用户都做了哪些事情?
在这里插入图片描述

select
*
from
(
select
id,
action one,
lead(action,1,'null') over(partition by id order by ts) two,
lead(action,2,'null') over(partition by id order by ts) three
from action 
)t1 where two='buy'

2.求各路公交的上行首站,上行末站,下行首站,下行末站
哪位大佬有简单的方法给我说一下?????????

在这里插入图片描述
在这里插入图片描述
3.一个表两个字段,url和ts。ts是时间戳。
求对于每一类url,在哪一秒点击量最大,最大是多少?
求点击量最大的五个url?
求每一类url的占比?

在这里插入图片描述
第一种解法

select
*
from
(
  select
first_value(url) over(partition by url order by ct desc) url,
first_value(seconds) over(partition by url order by ct desc) seconds,
first_value(ct) over(partition by url order by ct desc) ct
from 
(
select
url,
from_unixtime(cast(ts as bigint)) seconds,
count(*) ct
from clicks group by from_unixtime(cast(ts as bigint)),url
)t1
)t2 group by url,seconds,ct

第二种解法

select
*
from
(
select
url,
seconds,
ct,
row_number() over(partition by url order by ct desc) rn
from
(
select
url,
from_unixtime(cast(ts as bigint)) seconds,
count(*) ct
from clicks group by from_unixtime(cast(ts as bigint)),url
)t1
)t2 where rn =1

第二问

select
url,
count(*) ct
from clicks group by url order by ct desc limit 5

第三问

select
url,
ct,
ct/count
from
(
select
url,
count(*) ct
from clicks group by url
)t1 join 
(
select
count(*) count
from clicks
)t2
select
*
from 
(
select
url,
count(*) over(partition by url) ct,
(count(*) over(partition by url))/count(*) over() zhanbi
from clicks
)t1 group by url,ct,zhanbi

4.列转行 要求格式为:id,语文成绩,数学成绩,英语成绩
在这里插入图片描述
第一种解法:

select
id,
sum(yuwen) yuwen,
sum(shuxue) shuxue,
sum(yingyu) yingyu
from
(
select
id,
score yuwen,
0 shuxue,
0 yingyu
from stu_score where subject='语文'
union all
select
id,
0,
score,
0 yingyu
from stu_score where subject='数学'
union all
select
id,
0,
0,
score
from stu_score where subject='英语'
)t1 group by id

第二种解法:

select
id,
sum(yuwen) yuwen,
sum(shuxue) shuxue,
sum(yingyu) yingyu
from
(
select
id,
if(subject='语文',score,0) yuwen,
if(subject='数学',score,0) shuxue,
if(subject='英语',score,0) yingyu
from stu_score
)t1 group by id
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值