徐小慧_Blog的博客

Hive常用命令行1. Hive 中一次性使用命令2. 快速查找属性名3. 从文件中执行Hive查询4. 查看操作命令历史5. 显示字段名称1. Hive 中一次性使用命令不仅如此hive shell , 直接在linux界面执行hive命令,可使用 -ehive -e 'select * from hivetest.movie_info';在使用该功能，保存查询结果到一个文件，增加 -S 选项可以开启静默模式，这样可以输出结果中去掉‘OK’,'Time Taken’等行，如下面hive -S

执行hql报错如下：Status: FailedVertex failed, vertexName=Map 5, vertexId=vertex_1443634917922_0008_1_05, diagnostics=[Task failed, taskId=task_1443634917922_0008_1_05_000006, diagnostics=[TaskAttempt 0 failed, info=[Error: Failure while running task:java.lang.R

rank / dense_rank / row_number的语法都是一样的，不同的只是几个特性：rank / dense_rank都考虑了并列的情况，所以序号可能不唯一，rank在出现并列之后会不连续，而dense_rank是连续的row_number不考虑并列的情况，所以序号是唯一的，并且也不会出现不连续...

Hive动态分区一）hive中支持两种类型的分区：二）实战演示如何在hive中使用动态分区一）hive中支持两种类型的分区：静态分区SP（static partition）动态分区DP（dynamic partition）静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。二）实战演示如何在hive中使用动态分区1、创建一张分区表，包含两个分区dt和ht表示日期和小时

目录建表准备建表生成数据导入数据到hive需求1.查询课程编号为“01”的课程比“02”的课程成绩高的所有学生的学号（重点）：2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数（重点）:3、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩（重点）:4、查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩:5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩:6、查询"李"姓老师的数量:7、查询学过"张三"老师授课的同学的信息(重点):8、查询没学过"张三"老师授课

一、Hive优化目标在有限的资源下，提高执行效率二、Hive执行HQL——> Job——> Map/Reduce三、执行计划查看执行计划explain [extended] hql四、Hive表优化1、分区静态分区转动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;2、分桶set hive.enforce.bucketing=true;set