2018年05月_lepton126

11月 10月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hive load数据后，数据被搬移，问题解决

现象：1、我们先上传一个文件$]hdfs dfs -put testdata.txt /data/2、hive 建表hive>create external table if not exists data.testtable like dat.testtableori;3、load数据hive>load data inpath '/data/' into table testt...

2018-05-29 10:28:58 3367

原创验证hive load装载数据的overwrite参数

操作过程hive> select count(*) from test;2018-05-25 11:08:40,651 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 61.19 secMapReduce Total cumulative CPU time: 1 minutes 1 seconds 190 msecEnded Job = ...

2018-05-25 14:45:55 7422

Hive中的子查询 hive只支持 from和where子句中的子查询https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SubQueries查询名称为销售和财务的两个部门的员工姓名select e.ename from emp e where e.deptno in (select d.deptno from detp ...

2018-05-23 09:37:35 2734

原创 hive 之多表查询

hive 多表查询，转化为一个mapreduce的作业hive>desc dept;deptno doubledname stringloc stringhive>desc emp;empno doubleename stringjob stringmgr doublehiredate stringsal doublecomm doubledeptno d...

2018-05-21 15:05:02 10634

原创 hive 之HQL内嵌函数

Hive的函数内置函数自定义函数，java编写内置函数分类1、聚合函数和表生成函数2、内置函数数学函数 round 四舍五入 select round(123.4567,3) 123.457 3表示小数点后3位，若是0，则表示个位，若是-1，则表示十位 ceil 向上取整 hive> select ceil(123.4); OK 124 Time tak...

2018-05-17 17:58:59 1031

原创 hive之HQL 排序

hive之HQL 排序查询员工信息：员工号姓名月薪按月薪排序select empno,ename,sal from emp order by sal; 若在尾部加上desc，按降序排列排序操作要被转换成mapreduce作业，order by 后面可跟：列、表达式、别名或序号。select empno,ename,sal,sal*12 from emp order by sal*12; 按年...

2018-05-15 17:33:12 566

原创 hive之HQL 使用where过滤

查询10号部门的员工select * from emp where deptno=10查询名叫king 的员工select * from emp where name='king'在hive的HQL语句中是严格区分大小写的查询部号是10，薪水小于2000的员工select * from emp where deptno=10 and sal<20;分析执行计划explain select *...

2018-05-14 08:18:25 1797

原创 hive 之 Fetch Task功能

Fetch Task功能一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能，就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask，从hdfs文件系统中进行查询输出数据，从而提高效率。配置方式1、在hive提示符set hive.fetch.task.conversion=more;2、启动hive时，加入参数，形如 hi...

2018-05-11 14:56:39 2172