hive
文艺小卿年
这个作者很懒,什么都没留下…
展开
-
hive安装
hive共有三种安装模式这里我们选择的是远程模式(在slave2安装mysql,在master和slave1安装hive)一、在slave2安装mysql1.安装 EPEL 源yum -y install epel-release2.安装 MySQL server 包,下载源安装包:wget http://dev.mysql.com/get/mysql57-comm...原创 2018-10-28 19:43:53 · 233 阅读 · 0 评论 -
Hive drop table时出现 Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
在使用Hive的时候一直小心翼翼,因为对Hive掌握不够好,每次出错都要找半天才能找到错误所在,这次在删除一个表的时候,报了一个错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:You have an error in your ...原创 2019-01-18 11:07:44 · 916 阅读 · 0 评论 -
Hive窗口函数
相关函数说明OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化CURRENT ROW:当前行PRECEDINGn:往前n行数据FOLLOWINGn:往后n行数据UNBOUNDED:起点,UNBOUNDED PRECEDING 表示从前面的起点,UNBOUNDED FOLLOWING表示到后面的终点LAG(col,n):往前第n行数据LEAD...原创 2019-01-18 17:24:42 · 208 阅读 · 0 评论 -
Hive函数之rank(),dense_rank(),row_number()排序分析函数
函数说明在Hive中,如果要对有重复字段的数据进行排序时,一般会用到以下几个函数RANK():排序相同时会重复,总数不会变DENSE_RANK():排序相同时会重复,总数不会变ROW_NUMBER():会根据顺序计算案例及需求介绍要求按照每门学科成绩进行排序,类似于学校的考试排名根据结果来看这三个函数的作用就一目了然了数据准备孙悟空 语文 87孙悟空 数...原创 2019-01-18 18:37:39 · 1364 阅读 · 1 评论 -
Hive之分桶表
文章目录表创建分桶抽样查询分区针对的是数据的存储路径,分桶针对的是数据文件表创建# 创建分桶表create table stu_buck (id int, name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t';# 导入数据到分桶表中load data l...原创 2019-01-21 09:37:33 · 212 阅读 · 0 评论 -
Hive之排序
文章目录排序1. 全局排序(Order By)2. 按别名排序3. 多个列排序4. 每个MapReduce内部排序(Sort By)5. 分区排序(Distribute By)6. Cluster By排序1. 全局排序(Order By)全局排序,一个MapReduceASC(ascend): 升序(默认)DESC(descend): 降序select * from emp ...原创 2019-01-21 09:40:27 · 319 阅读 · 0 评论 -
Hive之DML数据操作
文章目录1. 加载数据1.Load方式加载数据2. insert方式3.查询语句中创建表并加载数据4.创建表时通过Location指定加载数据路径5.Import数据到指定Hive表中2. 数据导出1. insert导出2. Hadoop命令导出到本地3. Hive Shell 命令导出4. Export导出到HDFS上3.清空表数据(Truncate)1. 加载数据1.Load方式加载数据...原创 2019-01-21 09:44:01 · 415 阅读 · 0 评论