一、HIVE查询
hive中students表
nid nname ncourse ngrade
1 张三 yuwen 85
2 李四 yuwen 75
3 张三 shuxue 75
4 李四 shuxue 95
5 张三 yingyu 65
6 李四 yingyu 83
create table students(nid int,nname string,ncourse string,ngrade int)
row format delimited fields terminated by '\t';
load data local inpath '/home/hadoop/test' overwrite into table students;
问题1、使用HQL得出张三的所有科目的成绩,打印一行,如:张三 85 75 65
查询关于张三的所有内容
select x.nid,x.nname,x.ncourse,x.ngrade from students x where x.nname = '张三';
只查张三,两种方法
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from students group by nname HAVING nname = '张三';
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from (select * from students where nname='张三') a group by nname;
查所有人的
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from students group by nname;
2、显示姓名,各科成绩都在70以上的学生,如 李四
MSSQL可以,但是这个查询命令在Hive无法执行
select nname from students where nid not in(select distinct nid from students where ngrade < 70);
HQL :select a.nname from (select distinct nname from students where ngrade < 70) as b left join on students a a.nname=b.nname where b.nname is null;
或者可以自定义udf来完成
二、shell进行文件去重
aaa.txt
111
222
333
444
333
222
555
代码:
cat -n aaa.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-
代码解释:
cat -n in.txt : 输出文本,并在前面加上行号,以\t分隔
sort -k2,2 -k1,1n : 对输入内容排序,primary key是第二个字段,second key是第一个字段并且按数字大小排序
uniq -f1 : 忽略第一列,对文本进行去重,但输出时会包含第一列
sort -k1,1n : 对输入内容排序,key是第一个字段并按数字大小排序
cut -f2- : 输出第2列及之后的内容,默认分隔符为\t
hive中students表
nid nname ncourse ngrade
1 张三 yuwen 85
2 李四 yuwen 75
3 张三 shuxue 75
4 李四 shuxue 95
5 张三 yingyu 65
6 李四 yingyu 83
create table students(nid int,nname string,ncourse string,ngrade int)
row format delimited fields terminated by '\t';
load data local inpath '/home/hadoop/test' overwrite into table students;
问题1、使用HQL得出张三的所有科目的成绩,打印一行,如:张三 85 75 65
查询关于张三的所有内容
select x.nid,x.nname,x.ncourse,x.ngrade from students x where x.nname = '张三';
只查张三,两种方法
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from students group by nname HAVING nname = '张三';
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from (select * from students where nname='张三') a group by nname;
查所有人的
select nname,
max(case ncourse when 'yuwen' then ngrade else 0 end) yuwen,
max(case ncourse when 'shuxue' then ngrade else 0 end) shuxue,
max(case ncourse when 'yingyu' then ngrade else 0 end) yingyu
from students group by nname;
2、显示姓名,各科成绩都在70以上的学生,如 李四
MSSQL可以,但是这个查询命令在Hive无法执行
select nname from students where nid not in(select distinct nid from students where ngrade < 70);
HQL :select a.nname from (select distinct nname from students where ngrade < 70) as b left join on students a a.nname=b.nname where b.nname is null;
或者可以自定义udf来完成
二、shell进行文件去重
aaa.txt
111
222
333
444
333
222
555
代码:
cat -n aaa.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-
代码解释:
cat -n in.txt : 输出文本,并在前面加上行号,以\t分隔
sort -k2,2 -k1,1n : 对输入内容排序,primary key是第二个字段,second key是第一个字段并且按数字大小排序
uniq -f1 : 忽略第一列,对文本进行去重,但输出时会包含第一列
sort -k1,1n : 对输入内容排序,key是第一个字段并按数字大小排序
cut -f2- : 输出第2列及之后的内容,默认分隔符为\t