HIVE

最新推荐文章于 2024-07-24 20:46:25 发布
最新推荐文章于 2024-07-24 20:46:25 发布
阅读量504 收藏
点赞数
分类专栏： HIVE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aniyah/article/details/102464303
版权

HIVE

学习目标：

  1. 了解hive是什么
  2. 理解hive架构
  3. hive搭建
  4. 熟练hive sql的使用
  5. 理解hive分区
  6. 外部表和内部表区别
  7. DML
  8. beeline和JDBC
  9. hive的函数

HIVE数据仓库

保存历史数据

数据库：数据交互。

解释器 编译器 优化器

hive运行时，元数据存储在关系型数据库（Mysql）

HIVE架构图

hive.apcache.com

依托于hadoop，底层存储 hdfs

解释器

anltr —> 语法树

编译器

将HIVE sQL 转换成车工操作符

操作符是hive的最小处理单元

每个操作符代表HDFS的一个操作或者是一个job

优化器

HIVE 搭建

前置条件

部署hdfs集群

安装Mysql

#查看是否安装了mysql
rpm -qa|grep -i mysql
#卸载mysql
rpm -e mysql*
#安装mysql
Yum -y install mysql-server

启动mysql:

service mysqld start

连接数据库:

mysql -uroot -p

输入密码:

#修改密码
set password for 'root'@'localhost'=password('123456');

设置无密码登录:

vim /etc/my.cnf
#添加
skip-grant-tables

安装HIVE

  1. 上传安装包
  2. 解压
  3. 配置环境变量
  4. hive-site.xml
tar -xzvf hive-xyztar.gz

将环境变量设置HIVE_HOME为指向安装目录：

  $ cd hive-xyz
  $ export HIVE_HOME = {{pwd}}

最后，添加$HIVE_HOME/bin到您的PATH：

  $ export PATH = $ HIVE_HOME / bin：$ PATH

Hive中metastore（）的三种方式：

参考链接:HIVE的元数据相关配置

a)内嵌Derby方式

嵌入式Metastore数据库主要用于单元测试。一次只能有一个进程连接到Metastore数据库，因此它不是一个真正的实用解决方案，但适用于单元测试。

只能有一个hive客户端能使用数据库,不推荐


<configuration>  
  <!--连接URL-->
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>  
</property>  
  
<!--连接驱动名称-->
<!--derby-->
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>org.apache.derby.jdbc.EmbeddedDriver</value>  
</property>  
   
<!--是否使用本地元数据模式
（从Hive 0.10删除：如果hive.metastore.uris是就是cal 模式,否则额就是远程-->
  <!--虽然这么官方文档这么备注-->
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
  
<!--在HDFS存储HIVE的地址-->  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
   
  
</configuration>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FWBzC8PX-1570610031603)(E:\朱琰笔记\pic\1564753514137.png)]

b)远程访问数据库方式

在此配置中，您将远程链接关系型数据库。 以下示例为连接MySQL服务器.

<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive_remote/warehouse</value>  
</property>  
  
<!--本地或远程Metastore
（从Hive 0.10删除：如果hive.metastore.uris是就是cal 模式,否则额就是远程-->
<property>  
  <name>hive.metastore.local</name>  
  <value>true</value>  
</property>  
  
<!--Mysql服務器地址-->
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>  
</property>  

<!--MySQL JDBC驱动程序类-->
<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>  
  
<!--MySQL用戶名-->
<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>hive</value>  
</property>
  
<!--MySQL密碼-->
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>password</value>  
</property>  
</configuration>

在这里插入图片描述

在这里插入图片描述

c)内嵌元数据服务方式

在这种方式中,Metastore服务器组件的使用类似于Hive Client中的库。 每个Hive客户端都将打开与数据库的连接并对其进行SQL查询。

确保可以从执行Hive查询的计算机访问数据库，因为这是本地存储。还要确保JDBC客户端库位于Hive Client的类路径中。

此配置通常与HiveServer2一起使用（仅在HiveServer2中使用嵌入式Metastore，在hiveserver2 start命令的命令行参数中添加“–hiveconf hive.metastore.uris =’’”或使用hiveserver2-site.xml（在Hive 0.14中可用） ））

配置Param配置值评论
hive.metastore.uris不需要因为这是本地商店
hive.metastore.localtrue这是本地商店（在Hive 0.10中删除，请参阅配置说明部分）
hive.metastore.warehouse.dir<base hdfs path>指向HDFS中非外部Hive表的默认位置。

d)远程Metastore服务方式

在远程Metastore设置中，所有Hive客户端都将与Metastore服务器建立连接，然后Metastore服务器会查询数据存储区（本例中为MySQL）以获取元数据。Metastore服务器和客户端使用Thrift 协议进行通信 。从Hive 0.5.0开始，您可以通过执行以下命令来启动Thrift服务器：

hive --service metastore
1
<configuration>  
<property>  
<name>hive.metastore.warehouse.dir</name>  
<value>/user/hive/warehouse</value>  
</property>  

<property>  
<name>javax.jdo.option.ConnectionURL</name>  
<value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  

<property>  
<name>javax.jdo.option.ConnectionDriverName</name>  
<value>com.mysql.jdbc.Driver</value>  
</property>  

<property>  
<name>javax.jdo.option.ConnectionUserName</name>  
<value>hive</value>  
</property>  

<property>  
<name>javax.jdo.option.ConnectionPassword</name>  
<value>password</value>  
</property>  


<property>  
<name>hive.metastore.local</name>  
<value>false</value>  
</property>  

<!--Hive Metastore是无状态的，因此可以有多个实例来实现高可用性。-->
<!--使用  hive.metastore.uris它可以指定多个远程Metastore。-->
<!--默认情况下，Hive将使用列表中的第一个，在连接失败时,会随机选择一个重新连接-->
<property>  
<name>hive.metastore.uris</name>  
<value>thrift://192.168.1.188:9083</value>  
</property>  
</configuration>

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，

2

将hive-site.xml配置文件拆为如下两部分

​ 1）、服务端配置文件

<configuration>  
<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  

<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://192.168.57.6:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  

<property>  
  <name>javax.jdo.option.ConnectionDriverName</name>  
  <value>com.mysql.jdbc.Driver</value>  
</property>     

<property>  
  <name>javax.jdo.option.ConnectionUserName</name>  
  <value>root</value>  
</property>  
  
<property>  
  <name>javax.jdo.option.ConnectionPassword</name>  
  <value>123456</value>  
</property>  
</configuration>  
<configuration>  

  

<property>  
  <name>hive.metastore.warehouse.dir</name>  
  <value>/user/hive/warehouse</value>  
</property>  
  

<property>  
  <name>hive.metastore.local</name>  
  <value>false</value>  
</property>  

  

<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.57.5:9083</value>  
</property>  

</configuration>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

启动hive服务端程序

hive --service metastore

客户端直接使用hive命令即可

root@my188:~$ hive

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt

hive> show tables;

OK

test_hive

fhive>

ve.metastore.uris
thrift://192.168.57.5:9083

``` <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

启动hive服务端程序

hive --service metastore

客户端直接使用hive命令即可

root@my188:~$ hive

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt

hive> show tables;

OK

test_hive

fhive>

aniyah
关注
专栏目录
Hive
无境
11-20 268
mapreduce的核心思想：分而治之 大数据的趋势：平台化，可视化 hive的简介 hive的产生 非java编程者对hdfs的数据做MapReduce操作 hive简介 hive :数据仓库： ETL: 是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用...
Hive数据仓库与企业级优化
jingluodashen的博客
06-04 402
一 数据仓库1 什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2 数据仓库能干什么？1）年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。2）如何优化业务流程例...
Hive基础知识大全
最新发布
qq_54677773的博客
07-24 2817
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
Spark入门实战系列--5.Hive（上）--Hive介绍及部署
yyy
09-09 1110
1、Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点： l  优点： 1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容，大大降低了传统数据分析人员学习的曲线； 2.
hive-exec-2.1.1.jar
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
Hive metastore 使用达梦数据库存储元数据
05-10
《Hive metastore 使用达梦数据库存储元数据详解》 在大数据处理领域，Hive作为一个分布式数据仓库工具，被广泛用于存储和管理大规模结构化数据。Hive的元数据是其核心组成部分，它包含了表、分区、列等信息，使得...
DBeaver链接hive驱动包下载： hive-jdbc-uber-2.6.5.0-292.jar
05-17
《DBeaver与Hive连接：hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，广泛用于数据查询和分析。而DBeaver，作为一款跨平台的数据库管理工具，以其用户友好的...
Ambari下Hive3.0升级到Hive4.0
03-25
在大数据领域，Apache Ambari 是一个用于 Hadoop 集群管理和监控的开源工具，而 Hive 是一个基于 Hadoop 的数据仓库系统，用于处理和分析大规模数据集。本话题聚焦于如何在 Ambari 环境下将 Hive 3.0 升级到 Hive ...
seatunnel 支持hive jdbc
07-28
driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
什么是hive
一曲无痕奈何
09-17 377
一 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上...
Hive学习 day01
m0_49528461的博客
09-16 192
今天，我开始了Hive的学习。学习了基本概念、安装地址说明、安装部署、基本Shell操作、Hive初次启动ERROR解决、将本地文件导入Hive案例、多客户端异常分析、centos7安装mysql5.7.21、Hive元数据配置到Mysql里面、常用的交互命令、其它命令操作、常见属性配置、数据类型、DDL、创建内部表、外部表+内部表、删除数据库-补录、分区表、修改表。 总结一下： 1.Hive基本概念 什么是Hive： Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Had
Hive编程指南
7. **Hive的编程接口**：讲解Hive的Java API（HiveDriver、HiveSession等）和Hive命令行接口，以及如何通过这些接口进行程序化访问和操作Hive。 8. **MapReduce与Hive的交互**：深入理解Hive如何利用MapReduce执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值