![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
杨大大慌
这个作者很懒,什么都没留下…
展开
-
hive的环境搭建
hive的环境搭建hive有三种模式内嵌模式,本地模式,远程连接内嵌模式的配置1. 简介:使用hive自带数据库derby来进行存储元数据,通常用于测试 优点:使用简单,不用进行配置 缺点:只支持单session。 1. 将hive安装包上传到/opt/software/,进行解压 $ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /o...原创 2019-09-10 15:23:14 · 117 阅读 · 0 评论 -
hive使用Tez引擎报错
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTaskhive> set hive.execution.engine=tez;可以进/tmp/{user}/hive.log其中{user}代表安装hive的用户例如在root上安装的hivevi /tmp/root/h...原创 2019-09-20 11:03:18 · 1233 阅读 · 0 评论 -
hive练习
有如下通话记录:Zhangsan Wangwu 01:01:01Zhangsan Zhaoliu 00:11:21Zhangsan Yuqi 00:19:01Zhangsan Jingba 00:21:01Zhangsan Wuxi 01:31:17Wangwu Zhaoliu 00:51:01Wangwu Zhaoliu 01:11:19Wangwu Yuqi 00:00:21...原创 2019-09-17 09:56:09 · 174 阅读 · 0 评论 -
hive中子句的使用
hive中子句的书写顺序select...from....join.....on....where....group by ....having....order by...sort by....limit....union | union all....select 后跟要查询的列每个字段为一列(行专列就可以将字段放到hive后就可以完成)。from 后根表,可以是一个select子句,...原创 2019-09-17 09:04:54 · 303 阅读 · 0 评论 -
hive的分桶
分桶的概述为什么要分桶数据分区可能导致有些分区数据过多,有些分区数据极少。分桶是将数据集分解为若干部分(数据文件)的另一种技术。分区和分桶其实都是对数据更细粒度的管理。当单个分区或者表中的数据越来越大,分区不能细粒度的划分数据时,我们就采用分桶技术将数据更细粒度的划分和管理[CLUSTERED BY (col_name, col_name, …)stored by (uid des...原创 2019-09-11 00:43:03 · 214 阅读 · 0 评论 -
hive的分区(二)
动态分区的设置分区的类型静态分区:加载数据到指定的分区的值动态分区:数据未知,根据分区的值确定创建分区混合分区:静态和动态都有动态分区的设置hive.exec.dynamic.partition=true/false --是否支持动态分区hive.exec.dynamic.partition.mode=strict/nostrict --严格/非严格hive.exec....原创 2019-09-10 22:01:25 · 160 阅读 · 0 评论 -
hive的分区操作(一)
hive的分区操作一、分区的原因作用为什么分区Hive的Select查询时,一般会扫描整个表内容。随着系统运行的时间越来越长,表的数据量越来越大,而hive查询做全表扫描,会消耗很多时间,降低效率。而有时候,我们需求的数据只需要扫描表中的一部分数据即可。这样,hive在建表时引入了partition概念。即在建表时,将整个表存储在不同的子目录中,每一个子目录对应一个分区。在查询时,我们就...原创 2019-09-10 21:33:37 · 692 阅读 · 0 评论 -
hive的基本操作(二)
表属性的修改修改表名alter table oldTableName rename to newTableName;修改列名:change column oldName newName colType;修改列位置 alter table tableName change colum colnmae colname colType after colname2;最后的列名是移动到coln...原创 2019-09-10 20:01:35 · 113 阅读 · 0 评论 -
hive的基本操作
hive的基本操作创建数据库create database if not exists mydb; create database mydb;create database if not exists mydb comment 'this is mydb';创建加上描述删除数据库drop database mydb; 可以删除空数据库drop database cascade;强制...原创 2019-09-10 19:14:22 · 126 阅读 · 0 评论 -
sql经典50题使用hive
建表学生create table student(s_id int,s_name string,dt string,sex string)row format delimitedfields terminated by '\t';01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风 1990-05-20 男04 李云 1990-08-06 ...原创 2019-09-24 09:27:40 · 508 阅读 · 1 评论