Hadoop之Hive

已于 2024-05-29 17:07:03 修改
阅读量1.7k 收藏 6
点赞数
文章标签： hive hadoop 大数据
于 2023-04-19 21:28:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35911309/article/details/130167677
版权

文章目录

一、Hive简介

https://hive.apache.org/

1.1 Hive 基本概念

Hive是一个基于Hadoop的数据仓库架构，使用SQL语句读、写和管理大型分布式数据集。Hive可以将SQL语句转化MapReduce（或Apache Spark和Apache Tez）任务执行，大大降低了Hadoop的使用门槛，减少了开发MapReduce程序的时间成本。

可以将Hive理解为一个客户端工具，其提供了一种类SQL查询语言，称为 HiveQL

1.2 Hive架构图

在这里插入图片描述

在这里插入图片描述

用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command lineinterface)为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。

元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

Driver驱动程序，包括语法解析器、计划编译器、优化器、执行器:完成 HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。

执行引擎：Hive本身并不直接处理数据文件。而是通过执行引擎处理。当下Hive支持MapReduce、Tez、Spark3种执行引擎

1.3 Hive数据模型

数据模型：用来描述数据、组织数据和对数据进行操作，是对现实世界数据特征的描述。Hive的数据模型类似于RDBMS库表结构，此外还有自己特有模型。

Hive中的数据可以在粒度级别上分为三类：
Table 表
Partition分区
Bucket 分桶

Hive作为一个数据仓库。默认数据库default。

Hive的数据都是存储在HDFS上的，默认有一个根目录，在hive-site.xml中，由参数hive.metastore.warehouse.dir指定。默认值为/user/hive/warehouse

二、Hive安装配置

Hive根据Metastore Server的位置不同可以分为三种运行模式：内嵌模式、本地模式和远程模式。
Hive基于Hadoop，Hive只需在Hadoop集群的其中一个节点安装即可，而不需要搭建Hive集群。

2.1 内嵌模式

在这里插入图片描述

#安装
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/modules/
#环境变量
vim /etc/profile
......
export HIVE_HOME=/opt/modules/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin
......
source /etc/profile
hive --version

#关联Hadoop 
#拷贝Hive安装目录下的conf/hive-env.sh.template文件为hive-env.sh，
export HADOOP_HOME=/opt/modules/hadoop-3.3.4

#创建数据仓库目录
$ hadoop fs -mkdir      /tmp
$ hadoop fs -mkdir -p  /user/hive/warehouse

#初始化元数据信息
schematool -dbType derby –initSchema
#启动Hive CLI
hive

2.2 配置元数据到mysql

mysql 安装配置
https://blog.csdn.net/qq_35911309/article/details/122266247
新建Hive元数据库
mysql -uroot -p’123456’
mysql> create database metastore;#hive_db或不配置时建
mysql> quit；
#初始化元数据库表
TBLS COLUMNS_V2 SDS…

2.3本地模式

在这里插入图片描述

mysql-connector-j-8.0.32.jar驱动包下载
在这里插入图片描述

#MySQL的驱动包到Hive lib目录下
cp mysql-connector-j-8.0.32-1.el7.noarch.rpm /opt/modules/apache-hive-3.1.3-bin/lib/
#配置hive
vim hive-site.xml
......
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!--MySQL数据库连接信息 -->
 <property><!--连接MySQL的驱动类 -->
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.cj.jdbc.Driver</value>
 </property>
 <property><!--MySQL连接地址，此处连接远程数据库，可根据实际情况进行修改 -->
  <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://centos1:3306/hive_db?createDatabaseIfNotExist=true</value>
 </property>
 <property><!--MySQL用户名 -->
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
 </property>
 <property><!--MySQL密码 -->
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
 </property>
</configuration>
......
#初始化原数据
schematool -dbType mysql –initSchema
#启动
hive

2.4远程模式

远程模式将Metastore
Server分离了出来，作为一个单独的进程，并且可以部署多个，运行于不同的机器上。这样的模式，将数据库层完全置于防火墙后，使客户端访问时不需要数据库凭据（用户名和密码），提高了可管理性和安全性。

在这里插入图片描述

(1)安装Hive客户端
#在本地模式基础上，centos01节点中执行以下命令，将Hive安装文件拷贝到centos2节点：
scp -r apache-hive-3.1.3-bin/  root@centos2:/opt/modules/

（2）修改centos2节（客户端） hive-site.xml
<!--Hive数据仓库在HDFS中的存储目录-->
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
<!--是否启用本地服务器连接Hive，false为非本地模式，即远程模式-->
<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
<!--Hive服务端Metastore Server连接地址，默认监听端口9083-->
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://centos1:9083</value>
</property>
（3）启动Metasotre Server 在centos1 节点执行
hive --service metastore &
# 控制台输出2023-04-16 15:48:34: Starting Hive Metastore Server

在这里插入图片描述

测试：
centos1节点（服务端）
hive> CREATE TABLE stu2(id INT,name STRING);
centos2节点（H客户端）查看Hive中的所有表：
hive> SHOW TABLES;

在这里插入图片描述

2.5 Hive JDBC Hiverserver2

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.5.1远程模式下使用Beeline CLI

#centos1节点修改Hadoop配置文件core-site.xml
......
<property> 
    <name>hadoop.proxyuser.root.hosts</name> 
    <value>*</value> 
</property> 
<property> 
    <name>hadoop.proxyuser.root.groups</name> 
    <value>*</value> 
</property>
......
# 将core-site.xml 同步到Hadoop集群其他节点。就可以用root用户在CLI中连接Hive
# 启动HiveServer2 centos1
hive --service hiveserver2 &
#启动Beeline CLI  cenots2
bin/beeline
# 连接HiveSver2服务
beeline> !connect jdbc:hive2://centos1:10000

centos1
在这里插入图片描述
http://192.168.10.101:10002/ hive-web_-ui 默认端口10002在这里插入图片描述
centos2 链接默认端口10000，默认密码为空，用户为启动配置用户在这里插入图片描述
在BeelineCLI 界面执行相关HiveQL了
在这里插入图片描述

2.5.2 DataGrip图形化客户端

在这里插入图片描述

2.6 Hive常见属性配置


vim hive-site.xml
......
#数据仓库位置：
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!--在Hive提示符中包含当前数据库-->
<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>
<!--在查询输出中打印列的名称-->
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
 </property>
......
#日志文件 默认存放于/tmp/${username}/hive.log
 vim hive-log4j2.properties
 ......
 property.hive.log.dir = /home/hadoop
 ......
qq_40999093?
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
hadoop集群搭建+hive安装
WHY的博客
07-10 4510
hadoop集群搭建及hive安装
大数据技术之Hadoop学习(七)——Hive数据仓库
weixin_63507910的博客
01-12 2617
Hive数据仓库的认识与操作
hadoop的hive安装与配置教程
最新发布
qsl428的博客
04-08 580
(1)将MySQL数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive安装目录的lib下；将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件，更名为 hive-site.xml。（1）MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。
大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
qq_41946216的博客
11-15 6065
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->
Hive简介
一度凡尘的专栏
08-19 579
转自 http://www.yiibai.com/hive/ 教程笔记 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 https
Hadoop 系列之 Hive
程序员小陶的大数据分享
04-21 459
Hadoop 系列之 Hive Hive 的官网：http://hive.apache.org/ Hive versions 1.2 onward require Java 1.7 or newer. 上一篇提到的 MapRedue 虽然简化了分布式应用的实现方式，但还是离不开写代码。 Hive 简介 Hive 是基于 Hadoop 的一个【数据仓库工具】，可以将结构化的数据...
hadoop与hive
人工智能曾小健
12-17 599
数据依然是存储在HDFS中，由HDFS负责管理数据冗余与一致性。Hive只是在此基础上构建了一个表，在进行数据查询时，Hive引擎将SQL语句转化为下层的mr作业，然后在mr的基础上进行计算，计算完成，最后返回结果。 Hive的语法从MySQL中借鉴了很多东西，因此很多MySQL语句可以直接在Hive中使用。但MySQL属于数据库，Hive属于数据仓库，它们对数据的处理有着本质的区别。 数据库与数据仓库,好比商店的柜台与货仓。你去商店买东西,需要什么东西，只要一问售货员,基本能在1秒之内告诉你在哪儿，价格是
hadoop集群配置之———hive安装与配置（超详细）
07-23
hadoop集群配置之———hive安装与配置（超详细）
Hadoop之hive安装
04-28
Hadoop之Hive安装 本篇文章将指导您如何在CentOS 6.4下安装Hive，并解决可能遇到的错误。 环境及软件介绍 本篇文章使用的环境是CentOS 6.4-x86_64-bin-DVD1.iso，软件版本为Hadoop 2.2.0和Hive 0.12.0，以及MySQL...
大数据与云计算技术 Hadoop之Hive详解三.ppt
09-12
1、 load data local inpath '/input/files/tb.txt' overwrite into table tb; ...2 、hive –e 执行hql语句 -i 初始化参数，多用于加载UDF -f 执行hql文件，因为无法传参数，所以项目中基本不用
大数据整理hadoop/hive
06-15
大数据整理hadoop/hive
完整图文版 阿里巴巴数据产品平台 大数据与云计算技术系列教程 Hadoop之Hive学习笔记（共63页）.pdf
09-04
由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的（世界上最大的 Hadoop 集群在 Yahoo!，2009年的规模在 4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常...
Hadoop+Hive集群搭建步骤
03-13
VM虚拟机上，安装ubantu搭建hadoop+Hive集群，步骤详细。
Hadoop、Hive、Spark 之间是什么关系？
鹰击长空
09-15 1万+
早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代，算法以及各种数学知识作为建筑的原料(比如钢筋、砖块)，编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序)，形成了一小片一小片的村庄(比如一台服务器)。
Hadoop系列四：Hadoop之Hive篇
热门推荐
医疗影像检索
03-11 1万+
Hive安装和运行 Pig与RDBMS、Hive比较 Pig Latin是一种数据流编程语言，而SQL是一种描述性编程语言。换句话说，Pig程序是相对于输入的一步步操作，其中每一步是对数据的一个简答的变换。相反，SQL语句是一个约束的集合，这些约束的集合在一起，定义了输出。 Hive介于Pig和传统RDBMS(关系数据库管理系统Relational DatabaseManagement Sy
[hadoop hive] hive总结
七夜之家
06-16 3438
1、表操作 建表（建表时需要注意前面不要添加空格回车之类的内容，防止各种异常） create table if not exists employees( name string, salary float, subordinates array, deductions map, address struct ) row format delimited fields termi
Hadoop集群下的Hive安装及配置
blessness的博客
09-05 2268
首先简单介绍一下Hive： Hive是一个构建在Hadoop之上的数据仓库软件,它可以使已经存储的数据结构化，它提供类似sql的查询语句HiveQL对数据进行分析处理。 Hive将HiveQL语句转换成一系列成MapReduce作业并执行。用户可以很方便的使用命令行和JDBC程序的方式来连接到hive。 目前，Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两中分布式计算引擎。常用于离线批处理。 为什么要用Hive？ 简单来说，Hive主要就是通过写SQL语句来实现Hadoop分布式框
Hive基于 Hadoop 的一个数据仓库工具
LXMin_的博客
11-12 461
Hive的特点 可扩展性 Hive可以自由的扩展集群的规模，一般情况下不需要重启服务 延伸性 Hive支持自定义函数，用户可以根据自己的需要来实现自己的函数 容错 即使节点出现错误，SQL仍然可以完成执行 [123]zkServer.sh start [123]zkServer.sh status [root@node01 ~]# start-all.sh [root@node01 ~]# hiveserver2 [root@node03 ...
hadoop电脑hive
05-11
Hadoop是一个开源的分布式计算框架，用于处理大规模数据的存储和处理。它可以将大规模数据分布在多个计算机节点上，并通过网络协调这些节点的计算和存储工作，从而实现分布式计算。Hive是基于Hadoop的一个数据仓库工具，它可以将结构化的数据映射到Hadoop上，并提供类似于SQL的查询语言，方便用户进行数据查询和分析。 在Hadoop集群上运行Hive，需要先安装Hadoop集群，并配置Hive的环境变量和配置文件。安装完毕后，可以使用Hive提供的命令行界面或者图形化界面（如Hue）来操作Hive。用户可以使用Hive SQL语句来创建表、加载数据、进行查询等操作，Hive会将这些操作转换成MapReduce作业，并在Hadoop集群上运行。 总之，Hadoop和Hive是两个不同的工具，但它们可以互相配合，实现大规模数据的存储和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值