Hive01：什么是Hive?

最新推荐文章于 2024-07-02 03:45:00 发布
最新推荐文章于 2024-07-02 03:45:00 发布
阅读量248 收藏 2
点赞数 1
分类专栏： hive 文章标签： hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40612128/article/details/123244789
版权
hive 专栏收录该内容
37 篇文章 0 订阅 ¥59.90 ¥99.00
订阅专栏
Hive是一个建立在Hadoop上的数据仓库工具，提供类SQL查询语言HQL进行数据处理。它不存储数据，而是依赖HDFS，支持多种文件格式如TextFile、SequenceFile、RCFile等。Hive的系统架构包括MapReduce、Tez、Spark和Flink等多种计算引擎。Metastore是Hive的元数据存储，通常推荐使用MySQL作为外置存储以支持多用户访问和元数据共享。
摘要由CSDN通过智能技术生成

一、什么是Hive

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。

Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。

Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。

通过这里的分析我们可以了解到Hive可以通过sql查询Hadoop中的数据，并且sql底层也会转化成mapreduce任务，所以hive是基于hadoop的。

二、Hive的数据存储

Hive的数据存储基于Hadoop的 HDFS
Hive没有专门的数据存储格式
Hive默认可以直接加载文本文件（TextFile），还支持SequenceFile、RCFile等文件格式
针对普通文本数据，我们在创建表时，只需要指定数据的列分隔符与行分隔符，Hive即可解析里面的数据

三、Hive的系统架构

下面我们来分析一下Hive的系统架构
看这个图，下面表示是Hadoop集群，

了解本专栏 订阅专栏 解锁全文
做一个有趣的人Zz
关注
专栏目录
订阅专栏
Hive 系统架构
AI天才研究院
02-09 1万+
1、用户接口（Client）：包括CLI、JDBC/ODBC、WebGUI①CLI（command line interface）为shell命令行 ，进行交互执行SQL；直接与Driver进行交互。CLI启动的时候，会同时启动一个Hive副本②JDBC/ODBC 驱动是Hive 的JAVA实现，作为JAVA的API;JDBC是通过Thift Server来接入，然后发送给Driver③WebGUI是通过浏览器访问Hive。
Hive连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000
zhengzaifeidelushang的博客
05-19 4254
Hive连接报错： Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000: java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connec
HIVE初识
MyySophia的博客
05-18 249
什么是HiveHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载，可以简称为ETL。Hive 定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据，同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapreduce任务来处理内建的SQL函数无法完成的复杂的分析任务。Hive中包含的有SQL解析引擎，它会将SQL语句转译成M/R Job,然后在Hadoop中执行。通过这里的分析我们可以了解到Hive可以通过
【大数据技术】实验3：熟悉常用的Hive操作
qq_45614178的博客
07-29 1277
【大数据技术】实验3：熟悉常用的Hive操作
熟悉Hive的基本操作
qq_40113690的博客
06-09 5529
熟悉Hive的基本操作
Hive使用总结
sysocc的博客
06-02 263
1、Hive的架构hive首先有个客户端，和元数据默认保存在derby数据库，一般改用MySQL，为支持多客户端同时访问还有四个处理器：编译器、优化器、执行器、解析器运算底层默认是MapReduce，可改用Tez，提高执行效率（数据量特别大用mr）数据存储在HDFS上 2、Hive和数据库比较Hive 和数据库除了拥有类似的查询语言，再无类似之处。1）数据存储位置Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常
什么是Hive？为什么要用Hive？
weixin_51689029的博客
10-14 2662
Hive一个可以将结构化的数据文件映射为一张数据库表并提供类SQL查询功能的数据仓库工具，而且它是基于Hadoop的。因此，从本质上来看，Hive是将SQL转换为。
org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
wainageren的博客
03-04 2931
建了个宽表，用到collect_list。在进行数据导入的时候报错。 日志显示错误信息如下： Diagnostic Messages for this Task: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map..
报错Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open
Sdwq12的博客
04-18 3285
第一步启动 hadoop集群 第二步启动：（远程连接服务） 第三步启动：（元数据）可断开 第四步启动： 第五建立对外端口： 第六步连接DataGrip 解决报错方案： 在hadoop中/etc/hadoop/core-site.xml（/opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml）增加如下配置 <name>hadoop.proxyuser.xxx.hosts</name> <va.
Hive系统架构简介
一方天地
12-07 3950
文章转载自：http://www.yiibai.com/hive/ Hive是什么 Hive 不是 Hive特点 Hive架构 Hive架构的更一般的架构 Hive工作原理Hive是什么？Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步
Hive系统讲解
weixin_44224310的博客
07-22 259
1.hive中的变量 1.查看所有的变量 hive> set; 2.变量及属性 命名空间 使用权限 描述 hivevar 可读/可写 用户自定义变量 hiveconf 可读/可写 Hive相关的配置属性 system 可读/可写 Java定义的配置属性 env 只可读 shell环境定义的环境变量 3.定义变量 –define key=value 与 ...
hive系统架构
o340176635的博客
07-20 396
http://blog.csdn.net/zhoudaxia/article/details/8855937
HIVE系统学习（一）
大数据开发架构师
08-03 308
第一章、基础知识 1、Hive诞生背景 Hive的出现是为了解决存储在HDFS之上的结构化和半结构化数据的存储和分析，通过他所提供的类似与SQL的HQL方便SQL用户有效的使用数据模型 2、Hive使用场景 Hive最适合于数据仓库应用程序，使用该程序进行相关的静态数据分析，不需要快速的相应给出结果，而且数据本身不会频繁的发生变化 3、Hive缺点 Hive不是一个完整的数据库 Hive不支持记录级别的更新、插入、删除操作 Hive查询延时较大 Hive不支持事务 Hive不符合AN..
离线计算系统------Hive（1）
魔法革1996
06-30 1451
一、 数据仓库 1． 数据仓库的基本概念 数据仓库， 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不...
hive系统学习笔记
天龙八部
08-27 781
目录 基本概念 解析器 交互方式 基本操作 创建库表 数据导入 数据的导出 常用sql函数 hive数据压缩， 常用语法 操作 分区和分桶 数据存储格式 建立表与文件的关联方式 数据结构 结构化的数据：字段个数一定，字段之间的分隔符一定 半结构化的数据：例如xml，json等 非结构化的数据：没有任何规律格式的数据 基本概念 本质：将sql...
Hive 简介
日格一物
07-17 861
1.Hive 简介 构建在hadoop之上,用来满足企业大数据存储和数据分析需求的数仓工具. (hadoop是分布式架构,有优秀的水平扩展能力,Hive自然具有相同优点) 2.Hive与传统数仓 传统数仓:既是数据存储产品又是数据处理分析产品(同时支持数据的存储与处理分析) Hive:本身并不支持数据的存储与处理分析(一个面向用户的编程接口,提供一种编程语言,通过该语言HiveQL去编写用户分析需求) 3.Hive如何完成数据存储与分析 Hive架构在底层的hadoop核心组件之上的(HDFS,MapRed
深入解析Hive：定义、架构、原理、应用场景及常用命令
最新发布
CloudJourney的博客
07-02 1408
本文将详细介绍Hive的定义、架构、工作原理、应用场景以及常见的命令体系，旨在帮助读者全面了解和掌握Hive的相关知识。Hive作为一个强大的数据仓库工具，凭借其类SQL的查询语言、与Hadoop生态系统的无缝集成以及强大的扩展性，广泛应用于各种数据仓库、数据分析和日志处理场景。通过本文的介绍，相信读者已经对Hive的定义、架构、工作原理、应用场景以及常见的命令体系有了全面的了解。Hive的数据模型是关系型的，由数据库、表、行和列组成，但它的底层存储是HDFS上的文件系统。
Hive基本概念及操作
Binder~的博客
11-12 1012
1.三种部署方式： 1）内嵌模式 元数据服务和HIve服务运行在一个JVM中，同时使用内嵌的Derby数据库作为元数据存储，只能支持同时最多一个用户打开Hive会话。   2）本地模式 Hive服务和元数据服务运行在一个JVM中，采用外置的MySQL作为元数据存储。支持多用户同时访问Hive   3）远程模式 元数据服务和Hive服务运行在不同的JVM中，这样做
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值