Hive入门之基础知识（二）之数据操作与查询

最新推荐文章于 2024-07-24 20:46:25 发布
最新推荐文章于 2024-07-24 20:46:25 发布
阅读量295 收藏
点赞数
分类专栏： hive 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jiangzhiqi4551/article/details/103567386
版权
本文介绍了Hive的基础操作，包括向Hive表中装载数据（覆盖原表数据、指定时间分区、从HDFS装载），动态分区插入，导出数据，引用集合类型元素的方法，解决上溢和下溢问题的策略，数据类型转换函数，避免MR任务的情况，Hive的join优化，order by和sort by的区别，以及distribute by和cluster by的使用场景。
摘要由CSDN通过智能技术生成

向Hive表中装载数据

Hive不会验证向表中装载的数据和表的模式是否匹配（需要自己检查确认），但是会检查文件的格式是否和表结构定义的一致（创建表时指定的结构若为SEQUENCEFILE，则装载进去的文件也应该为sequencefile格式）。

从本地文件系统向表中装载数据

LOAD DATA LOCAL INPATH 'path' INTO TABLE 'table'

从本地文件系统向表中装载数据，使用overwrite覆盖原表数据

LOAD DATA LOCAL INPATH 'path' OVERWRITE INTO TABLE 'table'

从本地文件系统向表中装载数据，使用overwrite覆盖原表数据并指定时间分区

LOAD DATA LOCAL INPATH 'path' OVERWRITE INTO TABLE 'table' PARTITION (dt='2019-11-11')

从HDFS向表中装载数据

LOAD DATA INPATH 'path' INTO TABLE 'table'

从HDFS向表中装载数据，使用overwrite覆盖原表数据

LOAD DATA INPATH 'path' OVERWRITE INTO TABLE 'table'

从HDFS向表中装载数据，使用overwrite覆盖原表数据并指定时间分区

LOAD DATA LOCAL INPATH &
最低0.47元/天 解锁文章
Hive基本操作
橙汁糖的博客
02-10 6547
一、Hive创建数据库与数据表 1.1.数据库相关操作 1.1.1.创建数据库 语法： create database if not exists 数据库名; 示例： create database if not exists mytestdatabase; 1.1.2.创建数据库并指定HDFS存储路径 语法： create database if not exists 数据库名 location 'HDS存储路径'; 示例： create database if not
Hive入门之基础知识（三）之分区与优化的简单介绍
Jiangzhiqi4551的博客
12-18 504
为什么要对数据进行分区 在实际生产中，每天的数据量都是以亿为单位的，如果我们不对数据进行分区，直接对全部数据进行统计，则会大大增加时间开销，浪费大量资源。当我们做了合理分区后，例如按天进行分区，当查找某一天的数据时，Hive不会读取全部文件，只会读取HDFS中该天对应的目录，大大提高了执行效率。 分区是不是越多越好 多数情况下，对数据可以按天进行分区，如果数据量还是太大，可以考虑再按小时进行分区，...
【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解
云祁QI
02-29 2314
文章目录一、前言二、往hive表中导入数据三、通过查询insert ....select的形式往hive中导入数据四、使用create....as 语句往hive表里装载数据五、从hive表里导出数据到文件系统 一、前言 往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用...
Hive Serde用法详解
gaofeng的博客
06-21 3240
Hive Serde 1、目的： ​ Hive Serde用来做序列化和反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。 2、应用场景： ​ 1、hive主要用来存储结构化数据，如果结构化数据存储的格式嵌套比较复杂的时候，可以使用serde的方式，利用正则表达式匹配的方法来读取数据，例如，表字段如下：id,name,map<string,array<map<string,string>>> ​ 2、当读取数据的时候，数据的某些特殊格式不希望显示在数据中，如：
Hive中数组的使用
热门推荐
就问你吃不吃药
10-25 4万+
基本操作 创建文本 $>cat test.txt 输入文本数据 12,23,23,34 what,are,this 34,45,34,23,12 who,am,i,are 打开Hive，创建表 hive> create table t_afan_test > ( > info1 array<int>, > info2 array<string> > )
【Hive】（七）Hive 查询使用详解
云祁QI
12-14 1875
文章目录查询语句语法一、基本查询（Select…From）1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit语句二、Where语句2.1 比较运算符（Between/In/ Is Null）2.2 Like和RLike2.3 逻辑运算符（And/Or/Not）三、分组3.1 Group By语句3.2 Having语句四、Join语句4.1 等值Join4....
Hive基础知识大全
最新发布
qq_54677773的博客
07-24 4740
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
【图书推荐】《Hive入门与大数据分析实战》
brucexia的专栏
06-17 1228
Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转换、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive能将结构化的数据文件映射为一张数据库表，并能提供SQL查询分析功能，将SQL语句转换成MapReduce任务来执行，从而实现对数据进行分析的目的。本书配套示例源码、PPT课件、教学大纲。
第1章 数据仓库基础与Apache Hive入门1
08-08
在本章中，我们将深入探讨数据仓库的基础知识以及如何通过Apache Hive进行初步探索。数据仓库是现代企业数据管理和分析的核心，而Hive作为大数据处理的重要工具，为数据仓库提供了便捷的查询和分析能力。 首先，让...
大数据 hive 实战数据
04-07
让我们深入探讨一下这两个部分以及与Hive、大数据、Hadoop和数据仓库相关的知识点。 首先，`video`数据可能包含了关于视频的各种信息，如视频ID、视频标题、时长、分类、上传日期、播放次数、评论数量等。这些数据...
Hive入门与大数据分析实战.pptx
10-05
《Hive入门与大数据分析实战》这本书旨在帮助读者掌握Hive的基础知识和实用技巧，以便在工作中更好地发挥数据价值，提高决策效率和精确性。 Hive基础知识 Hive是一种基于Hadoop的数据仓库工具，能够提供快速的数据...
hive数组使用
baiyunl的专栏
05-27 1689
转：http://blog.sina.com.cn/s/blog_61c463090100rt4h.html   数据 afan@ubuntu:/usr/local/hadoop/hive$ cat test.txt 12,23,23,34     what,are,this 34,45,34,23,12    who,am,i,are afan@ubuntu:/usr/loca...
Hive基础06、Hive引入数组
红目香薰
07-03 1429
英文关键字解析： 注：lines terminated这里很明显就是使用【\n】代表换行，collection items数组之间使用【,】。 查询效果：
Hive中like与rlike的区别
Jiangzhiqi4551的博客
09-07 1万+
Hive 中可以用 like 和 rlike 进行模糊匹配，like 采用的是 SQL 通配符，而 rlike 采用的是正则匹配。 like % 代替 0 或多个字符 _ 代替一个字符 举个例子： -- 返回值为 TRUE select 'aaa' like '%a%' -- 返回值为 TRUE select 'aaa' like '_a_' rlike rlike 采用正则表达式，以下总结几个常用的 ****： 转义用，序列 \\ 匹配 \ ^： 匹配输入字符串开始的位
Hive中的Skew Join
Jiangzhiqi4551的博客
03-29 3018
看文档的时候突然发现Skew Join，之前只知道有内外连接，半开连接，全外连接，笛卡尔积，于是赶紧学习了下Skew Join，在这里做个总结。 首先简单介绍下什么是数据倾斜 比如我们有10000条数据，有10个reducer来处理数据，在这10000条数据中有9000条的key是相同的，这样经过hash之后，就会出现有一个reducer要自己处理9000条数据，而剩下的9个reducer可能每个...
数据仓库之如何分层
Jiangzhiqi4551的博客
01-07 1469
1.前言 数据仓库的建设是一个持续的工程。在这个过程中我们需要形成自己的规范，以方便管理和维护。在数据仓库的建设过程中，不仅会面临着公司业务迅速发展，业务系统迭代变更，需要对业务系统数据进行相应的整合，形成公司完整的统一数据视图；而且基于数据仓库的应用也是多样化的，比如支撑自己企业的数据可视化平台、即席查询、对策略提供数据支持等。参考目前已有的分层模型，结合自身实际数据情况，确定对数据仓库进行层次...
Hive中的Sort Merge Bucket Join
Jiangzhiqi4551的博客
11-02 1071
最近学习时发现 Hive 中还有一种 SMB Join，即 Sort Merge Bucket Join ，赶紧找资料学习了一波。。 map join 我们知道在 Hive 中当小表 join 大表时可以通过 map join 将小表中的数据读入内存，在 map 端 join 大表，从而省略 reduce 过程，大大加快连接的速度，但是当小表数据量过大内存放不下时就无法使用 map join 了，由此引出了 Sort Merge Bucket Join。 SMB join 要使用 SMB Join，所有的表
Hive宏(Macro)简介
Jiangzhiqi4551的博客
08-10 684
最近在开发中用到了宏，用起来的确很方便，大大简化了代码，提高了可读性和可维护性，在此记录下宏的用法，以后有机会多更新一些宏的复杂用法。 什么是 Macro 在进行 Hive SQL 开发的时候，有一些逻辑需要反复使用，如果代码中每次都把所需逻辑复制粘贴一遍，不仅会造成代码冗余，还会增加维护难度，这时使用 Hive宏 对逻辑进行提炼，可以起到简化代码，提高开发效率，提升程序可读性的效果。 如何使用 Macro 宏的使用主要分为：创建、使用、销毁这三步，其中最重要的是创建部分，定义好后可以将宏像函数一样使用，最
Hive入门之基础知识（四）之文件格式和压缩方法
Jiangzhiqi4551的博客
12-19 394
为什么使用压缩 使用压缩可以减小所需的磁盘空间，减小磁盘和网络的IO操作，减小了载入内存的数据量提高了IO吞吐量，提升了网络性能（因为MapReduce大多是文件读写操作，属于IO密集型）。 ...
Hadoop之Hive入门教程：基础概念与操作示例
本文档主要介绍了Apache Hive的基础知识，包括Hive的简介、数据类型、内置函数以及数据定义语言（DDL）的使用。Hive是一个基于Hadoop的分布式数据仓库工具，它允许使用SQL-like语言（HQL）进行大数据分析。以下是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值