Hive

最新推荐文章于 2021-05-10 11:17:55 发布
最新推荐文章于 2021-05-10 11:17:55 发布
阅读量513 收藏
点赞数
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17555249/article/details/108012829
版权

Hive基本概念

什么是Hive
Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序

Hive的优缺点

  1. 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
  2. 2)避免了去写MapReduce，减少开发人员的学习成本。
  3. Hive优势在于处理大数据，对于处理小数据没有优势
  4. 5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

缺点

  1. Hive的HQL表达能力有限
  2. Hive的效率比较低
  3. Hive调优比较困难，粒度较粗

HIve的架构原理

在这里插入图片描述

  1. 用户接口：Client（CLI）
    CLI/jdbc、web等来访问hive

  2. 元数据：
    元数据包括表名、表所属的数据库、列名字段名、表的所有这等

  3. HDFS、使用HDFS进行存储

  4. 驱动器：Driver
    a 、解析器：将sql语句转换成抽象语法树，对抽象语法树做分析，比如是否含有这个语法、是否含有这个字段等
    b、编译器：将ast抽象语法树转换成执行计划
    c、优化器：对执行计划进行优化
    e、执行器：把逻辑执行计划转换成物理执行计划。对Hive来说就是MR/Spark。

Hive和数据库的比较

由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。

  1. 查询语言：由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。
  2. 数据存储位置：Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
  3. 数据更新：由于Hive是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET修改数据。
  4. 执行：Hive中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的。而数据库通常有自己的执行引擎。
  5. 执行延迟：Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce框架。由于MapReduce 本身具有较高的延迟，因此在利用MapReduce 执行Hive查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
  6. 可扩展性：由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的（世界上最大的Hadoop 集群在 Yahoo!，2009年的规模在4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有100台左右。

将本地文件导入Hive案例

1、在/opt/module/目录下创建datas
2、在/opt/module/datas/目录下创建student.txt文件并添加数据

[atguigu@hadoop102 datas]$ touch student.txt
[atguigu@hadoop102 datas]$ vi student.txt
1001	zhangshan
1002	lishi
1003	zhaoliu

3、Hive实际操作：首先启动hive：

bin/hive

2、创建student表, 并声明文件分隔符’\t’

creat table student (id int,name string)row format delimited fiels terminated by '\t'

3、加载/opt/module/datas/student.txt 文件到student数据库表中。

load data local inpath '/opt/module/datas/student.txt' into table student;

Hive查询结果

hive> select * from student;
OK
1001	zhangshan
1002	lishi
1003	zhaoliu
Time taken: 0.266 seconds, Fetched: 3 row(s)

Hive常用交互命令

  1. “-e”不进入hive的交互窗口执行sql语句：
[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"

2、-f”执行脚本中sql语句

[atguigu@hadoop102 datas]$ touch hivef.sql
atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql
[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql  > /opt/module/datas/hive_result.txt

3、退出hive窗口：exit:先隐性提交数据，再退出；quit:不提交数据，退出；
4、在hive cli命令窗口中如何查看hdfs文件系统：dfs -ls /;
5、在hive cli命令窗口中如何查看本地文件系统 ！ls /opt/module

Hive的数据类型

在这里插入图片描述
集合数据类型：
在这里插入图片描述

创建表语句

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] 
[COMMENT table_comment] 
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)]
[AS select_statement]

字段解释说明 ：
（1）CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXISTS 选项来忽略这个异常。
（2）EXTERNAL关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（LOCATION），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
（3）COMMENT：为表和列添加注释。
（4）PARTITIONED BY创建分区表
（5）CLUSTERED BY创建分桶表
（6）SORTED BY不常用，对桶中的一个或多个列另外排序
（7）ROW FORMAT
（8）STORED AS指定存储文件类型：常用的存储文件类型：SEQUENCEFILE（二进制序列文件）、TEXTFILE（文本）、RCFILE（列式存储格式文件）
（9）LOCATION ：指定表在HDFS上的存储位置。
（10）AS：后跟查询语句，根据查询结果创建表。
（11）LIKE允许用户复制现有的表结构，但是不复制数据。

一些命令举例：

（1）普通创建表：

create table if not exists student2(
id int, name string
)
row format delimited fields terminated by '\t'
stored as textfile
location '/user/hive/warehouse/student2';

（2）根据查询结果创建表（查询的结果会添加到新创建的表中）

create table if not exists student3 as select id, name from student;

（3）根据已经存在的表结构创建表

create table if not exists student4 like student;

（4）创建外部表：

hive (default)> create external table stu_external(
id int, 
name string) 
row format delimited fields terminated by '\t' 
location '/student';

管理表与外部表的互相转换：

最低0.47元/天 解锁文章
PeekMe10086
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive的insert操作
在路上的学习者
04-06 4万+
insert 语法格式为： 基本的插入语法： INSERT OVERWRITE TABLE tablename [PARTITON(partcol1=val1,partclo2=val2)]select_statement FROM from_statement insert overwrite table test_insert select * from test_table;
Hive insert into directory 命令输出的文件没有列分隔符分析和解决
weixin_30861459的博客
05-18 724
参考资料：http://stackoverflow.com/questions/16459790/hive-insert-overwrite-directory-command-output-is-not-separated-by-a-delimiter 问题描述： Hive insert into directory 命令输出的文件没有指定列分隔符，输出结果就像变成了一个字符串。 通...
hive分区表插入数据
sinat_24296421的博客
09-29 8186
插入语句 insert into table 库名.表名 partition(【分区列名】= 【分区值】) values (column_value1,column_value2,column_value3,......) 示例： insert into table app.app_crm_bd_home_data partition(dt = '2020-09-06') values(623709,10768,14,62,20200907,10,4); hive表新增字段，示例 alte.
【hive】hive中insert into 和insert overwrite区别
开发随笔-猫咪酱
10-19 2215
nsert into 和 insert overwrite 都是往表中添加数据 区别： insert into：将数据追加到表的末尾 insert overwrite：覆盖之前的数据 语句： insert into： hive>insert into [table] student select * from stu;（将select * from stu的查询结果追加到student表的后...
hive insert directory指定分隔符
freespace
10-27 4078
hive insert directory指定分隔符 1.hive0.11以前的版本   hive0.11以前的版本不支持insert directory 后面指定分隔符，但可以通过concat方式来完成   如：    insert overwrite directory 'hdfs://localhost:9000/app/test/' select concat(userid,...
seatunnel 支持hive jdbc
07-28
driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
Hive DML
01-07
Hive不支持update的操作。数据一旦导入，则不可修改。要么drop掉整个表，要么建立新的表，导入新的数据。 load：加载数据到表 load data [local] inpath ‘filepath’ overwrite | into table 表名 [partition ...
hive
03-25
Apache Hive（TM）数据仓库软件有助于查询和管理驻留在分布式存储中的大型数据集。 它建立在Apache Hadoop（TM）之上，提供*工具，使数据提取/转换/加载（ETL）变得容易*一种将结构强加于各种数据格式的机制*访问...
52 Hive的Insert操作
阿甘兄
08-08 1173
将查询结果插入Hive表 语法结构 INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement Multiple inserts: FROM from_statement INSERT OVERWRITE TABLE ...
hive中的数据导入到hdfs或者本地文件的方式包括sqoop
xia1140418216的博客
12-08 4301
把hive中的数据导入到hdfs或者本地文件的方式 1、通过insert…directory方式导出数据到本地文件 insert overwrite local directory '/opt/datas/hive/exp_hive' select * from emp ; insert overwrite local directory '/opt/datas/hive/exp_hive2' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' select
Hive的insert操作，导出数据到本地、hdfs
liyonghui123的专栏
10-20 2780
  insert 语法格式为： 1. 基本的插入语法： insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement; insert into table tablename [partition(partcol1=val1,partclo2=val2)] sele...
hive坑之insert overwrite local directory xx目录 select * from xx表
mo
06-15 6088
今天遇到了一个关于hive导出数据的一个坑，我想把数据导出到/demo下，没曾想竟然会把/demo下的所有数据给覆盖了。 来看一下把数据导出到路径深的目录，导入之前可以看到/demo目录下有如下内容。 insert overwrite local directory ‘/demo/test3/hive/result’ ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ select * from dept; 执行完以后查看文件result中
hive语法
weixin_46767998的博客
05-10 742
row format delimited fields terminated by ‘,’ 以’，'结尾的行格式分隔字段 row format delimited fields terminated by ‘\036’ stored as parquet; 1、insert into 和 insert overwrite语句两者的区别： insert overwrite 会覆盖已经存在的数据，假如原始表使用overwrite 上述的数据，先现将原始表的数据remove，再插入新数据。最后表的数据 只有新插入
Hive基础知识点整理
SJH2725970073的博客
08-03 5509
hive数据类型 基本数据类型 常用的 ： INT BIGINT DOUBLE STRING 集合数据类型 STRUCT: struct(street:string,city:string) MAP: map(string,int) ARRAY: array(string) **注意：**我们在导入数据是一行一行导入，因此我们需要额外的字段来匹配文件中的字符 字段解释： row format delimited fields terminated by ‘,’ 指定了逗号作为列分隔符 collecti
hive学习总结(2)—Hive几种导出数据方式
weixin_33978016的博客
12-02 333
为什么80%的码农都做不了架构师？>>> ...
hive 数据仓库
m0_37778709的博客
11-07 203
目录（hive）本质(是什么)作用(干什么)架构(有什么)优缺点优点缺点流程(怎么运作)常用(必会)常见问题(必知)1、数据库和数据仓库有什么区别？异议 本质(是什么) 本质：将HQL、SQL转换成MapReduce程序 hive处理的数据 存储在HDFS上 hive分析数据的底层原理是mapReduce hive执行程勋运行在yarn上 作用(干什么) 可以将海量结构化的数据文件映射为一张表，并...
hive分区表
yanzhelee
07-17 2704
hive分区表假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会非常的耗时，如果我们知道 这些数据的某些特征，可以事先对他们进行分裂，再把数据load到hdfs上的时候，他们就会被放到不同的目录下，然后使用hive进行操作的时候，就可以在where子句中对这些特征进行过滤。
Hive学习（五）-Hive全操作
potter
04-07 826
1、建库 create database mydb; create database if no exists mydb; create database if no exists mydb location "/aa/bb";2、查询数据库 查询库列表：show databases; 查询库详细信息：desc database [extended] mydb; 查询建库的详细信息：sho...
Hive导入和导出数据
SunnyRivers
04-28 839
Hive导入数据 （1）从本地文件导入 load data local inpath 'test.txt' into table test; （2）从HDFS导入 load data inpath '/data/test.txt' into table test; （3）从Hive表导入 insert into table test partition (date) select id, n...
linux hive
最新发布
04-08
Linux Hive是一个基于Linux操作系统的开源项目，它提供了一个分布式数据仓库和查询引擎。它的设计灵感来自于Apache Hive，但是在一些方面进行了改进和优化。 Linux Hive的主要目标是提供一个高效、可扩展的数据仓库解决方案，可以处理大规模的数据集。它使用Hadoop作为底层的分布式存储和计算框架，可以利用Hadoop集群的计算能力来执行复杂的数据查询和分析任务。 Linux Hive使用类似于SQL的查询语言（称为HiveQL）来进行数据查询和分析。它支持常见的SQL操作，如SELECT、JOIN、GROUP BY等，同时还提供了一些扩展功能，如用户自定义函数（UDF）、分区表、桶表等。 Linux Hive的架构包括三个主要组件：Hive Metastore、Hive Server和Hive Execution Engine。Hive Metastore负责管理元数据信息，包括表结构、分区信息等；Hive Server提供了与客户端交互的接口，接收和处理查询请求；Hive Execution Engine负责将查询转换为MapReduce任务或者使用其他计算引擎执行。 总结一下，Linux Hive是一个基于Linux操作系统的开源分布式数据仓库和查询引擎，它提供了高效、可扩展的数据处理能力，并使用类似于SQL的查询语言进行数据查询和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值