![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 60
总会有天明
这个作者很懒,什么都没留下…
展开
-
Hive-day08-调优
1:EXPLAIN查看执行计划hive (default)> explain extended select * from emp;hive (default)> explain extended select deptno, avg(sal) avg_sal from emp group by deptno;2:FETCH抓取Fetch抓取是指 Hive中对某些情况的查询可以不必使用 MapReduce计算 。例如 SELECT * FROM employees;在这种情况下原创 2021-11-14 14:36:01 · 1139 阅读 · 0 评论 -
Hive-day07-压缩和存储
1:MR支持的压缩编码2:开启Map输出阶段压缩(MR引擎)开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。 1:开启hive中间传输数据压缩功能hive (default)>set hive.exec.compress.intermediate=true; 2:开启mapreduce中map输出压缩功能hive (default)>set mapreduce.map.output.compress=t...原创 2021-11-13 23:31:42 · 103 阅读 · 0 评论 -
Hive-day07-函数
一:系统内置函数 1:查看系统自带的函数hive> show functions; 2:显示自带的函数的用法hive> desc function upper; 3:详细显示自带的函数的用法hive> desc function extended upper;二:常用内置函数 1:NVLNVL 给值为NULL的数据赋值,它的格式是NVL(value default_value)。它的功能是如...原创 2021-11-13 22:56:45 · 499 阅读 · 0 评论 -
Hive-day07-分区表和分桶表
分区表实际上就是对应一个HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。 Hive 中的分区就是分目录 ,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。避免全表扫描,指定目录扫描。比如可以以天进行分区。一天一个分区。创建文件,并引入数据dept_ 20200401.logdept_ 20200402.logdept_ 20200403.log10 ACCOUNTING 17原创 2021-11-13 14:25:48 · 1104 阅读 · 0 评论 -
Hive-day06-DML语句-数据查询(2)
1:内连接(7)只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;2:左外连接(1)join操作符左边表中符合where子句的所有记录将会被返回hive (default)> select e.empno, e.ename, d.deptno f...原创 2021-11-12 23:22:13 · 306 阅读 · 0 评论 -
Hive-day05-DML语句-数据查询(1)
1:全表查询和指定列查询hive (default)> select * from emp;hive (default)> select empno, ename from emp;不区分大小写, sql可以写一行或者多行,关键字不能缩写也不能分行,各子句一般要分行写2:列别名hive (default)> select ename AS name, deptno dn from emp;可以加as,也可以不加,上面ename的别名是name,deptno的别名原创 2021-11-11 22:02:19 · 195 阅读 · 0 评论 -
Hive-day04-DML语句-数据导出
1:Insert导出 1.1:将查询的结果导出到本地hive (default)> insert overwrite local directory'/opt/hive/data/export/student'select * from student; 1.2:将查询的结果格式化导出到本地hive(default)>insert overwrite local directory'/opt/hive/data/export/student1...原创 2021-11-10 22:22:44 · 435 阅读 · 0 评论 -
Hive-day04-DML语句-数据导入(Load、Insert、As、Location、Import)
1:向表中装载数据(LOAD) 1.1:语法hive> load data [local] inpath ' 数据的 path ' overwrite into tablestudent [partition (partcol1=val1,…)];1 load data:表示加载数据2 local:表示从本地加载数据到 hive表 否则从 HDFS加载数据到 hive表3 inpath: 表示加载数据的路径4 overwrite: 表...原创 2021-11-10 21:55:08 · 489 阅读 · 0 评论 -
Hive-day03-DDL语句
1:创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_[LOCATION hdfs_[WITH DBPROPERTIES (property_name=property_value, ...)]; 1.1:创建一个数据库,在hdfs默认存储路径/user/hive/warehouse/*.dbhive (default)> create database db_hive; ...原创 2021-11-09 22:58:57 · 949 阅读 · 0 评论 -
Hive-day02-数据类型
1:基本数据类型2:集合数据类型3:隐式类型转换规则 1:任何整数类型都可以隐式转换为一个范围更广的类型,TINYINT->INT,INT->BIGINT 2:所有整数类型、float、string都可隐式转换为DOUBLE 3:TINYINT、SMALLINT、INT都可转换为FLOAT 4:BOOLEAN类型不可转换为任何其他的类型4:使用CAST操作转换 例如CAST('1' ...原创 2021-11-08 22:34:31 · 87 阅读 · 0 评论 -
Hive-day01-hive的简单理解
1:关于hive的一些基本命令以下的那个insert命令,可以查看除hive与mapreduce有关,且1001这个数据的存放路径是hdfs上面的/user/hive/warehouse/test,test为表名。2:在 CRT窗口 中开启另一个窗口开启 Hive,出现报错原因在于Hive 默认使用的元数据库为 derby ,开启 Hive 之后就会占用元数据库, 且 不与其他客户端共享数据 所以我们需要将 Hive 的元数据地址改为 MySQL 。...原创 2021-11-06 14:45:30 · 1576 阅读 · 0 评论 -
Hive-day01-简单介绍
一:什么是Hive 1:hive简介 hive:解决海量结构化日志的数据统计工具 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 2:本质:将HQL转化为MapReduce程序hive处理的数据存储在HDFS,hive分析数据底层的实现是MapReduce,执行程序运行在Yarn上。二:Hive优缺点 1:优点...原创 2021-11-03 21:12:07 · 158 阅读 · 0 评论