Hive教程(一) Hive入门教程

最新推荐文章于 2024-05-25 11:16:40 发布
最新推荐文章于 2024-05-25 11:16:40 发布
阅读量9.1w 收藏 353
点赞数 55
分类专栏： Hadoop教程
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/yuan_xw/article/details/78197917
版权

 

 

Hive教程(一) Hive入门教程

 

1 Hive入门教程

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。

在Hive中，Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后在Hadoop执行。Hive的表其实就是HDFS的目录/文件，按表名把文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在M/RJob里使用这些数据。

最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下ApacheHive为一个开源项目。它用在好多不同的公司。例如，亚马逊使用它在Amazon Elastic、MapReduce。 

1.1 Hive原理图


1-1 Hive系统架构图

1.2 Hive系统架构

Hive系统架构图:

1、用户接口：

CLI，即Shell命令行。

JDBC/ODBC是 Hive的Java，与使用传统数据库JDBC的方式类似。

WebGUI是通过浏览器访问 Hive。

2、Thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++,Java, Go,Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript,Node.js, Smalltalk, and OCaml这些编程语言间无缝结合的、高效的服务。

3、解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（plan）的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。

4、Hive的数据存储在 HDFS中，大部分的查询由 MapReduce完成（包含 * 的查询，比如 select *from table不会生成 MapRedcue任务）。

5、Hive将元数据存储在数据库中(metastore)，目前只支持mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

 

Metastore组件:

Hive的Metastore组件是Hive元数据集中存放地。Metastore组件包括两个部分：Metastore服务和后台数据的存储。后台数据存储的介质就是关系数据库，例如Hive默认的嵌入式磁盘数据库derby，还有mysql数据库。Metastore服务是建立在后台数据存储介质之上，并且可以和Hive服务进行交互的服务组件，默认情况下，Metastore服务和Hive服务是安装在一起的，运行在同一个进程当中。我也可以把Metastore服务从Hive服务里剥离出来，Metastore独立安装在一个集群里，Hive远程调用Metastore服务，这样我们可以把元数据这一层放到防火墙之后，客户端访问Hive服务，就可以连接到元数据这一层，从而提供了更好的管理性和安全保障。使用远程的Metastore服务，可以让Metastore服务和hive服务运行在不同的进程里，这样也保证了Hive的稳定性，提升了Hive服务的效率。

 

Hive的执行流程如下图所示：


Hive的执行流程图

 

1.3 前置条件

Hive是建立Hadoop环境安装之上的，所以需要Hadoop的集群环境搭建，Hive即需要依赖于HDFS又需要依赖YARN。安装好Hadoop后需要进行启动HDFS和YARN。

环境安装参考资料：

1、安装《VMware安装Linux教程》地址：http://blog.csdn.net/yuan_xw/article/details/49827477

2、安装《Linux网络配置与远程连接》地址：http://blog.csdn.net/yuan_xw/article/details/49945007

3、安装《Hadoop教程(五)Hadoop分布式集群部署安装》

地址：http://blog.csdn.net/yuan_xw/article/details/51175171

4、安装《MySQL环境安装(一)》地址：http://blog.csdn.net/yuan_xw/article/details/77983704

 

5、Hive规划图

主机名

IP

安装软件

运行进程

Hadoop1

192.168.197.128

Jdk、Hadoop

NameNode、DFSZKFailoverController

Hadoop2

192.168.197.129

Jdk、Hadoop

NameNode、DFSZKFailoverController

Hadoop3

192.168.197.130

Jdk、Hadoop

ResourceManager、Hive、MySQL

Hadoop4

192.168.197.131

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop5

192.168.197.132

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop6

192.168.197.133

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

 

环境安装参考资料：

1、Hive下载地址：http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz

2、Hadoop和Hbase版本关系表：

Hive版本

Hadoop版本

Hive-2.3.0

2.x.y

Hive-2.2.0

2.x.y

Hive-2.1.1

2.x.y

Hive-2.1.0

2.x.y

Hive-2.0.0

2.x.y

Hive-1.2.2

1.x.y、2.x.y

Hive-1.2.1

1.x.y、2.x.y

Hive-1.0.1

1.x.y、2.x.y

Hive-1.1.1

1.x.y、2.x.y

Hive-1.0.1

1.x.y、2.x.y

Hive-1.0.0

1.x.y、2.x.y

Hive-0.13.1

0.20.x、 0.23.x.y、1.x.y、 2.x.y

Hive-0.13.0

0.20.x、 0.23.x.y、1.x.y、 2.x.y

Hive-0.12.0

0.20.x、 0.23.x.y、1.x.y、 2.x.y

Hive-0.11.0

0.20.x、 0.23.x.y、1.x.y、 2.x.y

Hive-0.10.0

0.20.x、 0.23.x.y、1.x.y、 2.x.y

 

1.4 下载Hive

1、Hive下载:

执行命令：wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz


 

2、解压Hive包

bin：包含hive的命令shell脚本

binary-package-licenses：包含了LICENSE说明文件

conf：包含hive配置文件

examples：包含了示例

hcatalog：Metastore操作的元数据目录

jdbc：提供了hive-jdbc-2.3.0-standalone.jar包

scripts：提供了sql脚本


 

3、修改环境变量：

执行命令：vi /etc/profile

export JAVA_HOME=/usr/local/software/jdk1.8.0_66

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/software/hadoop_2.7.1

export HBASE_HOME=/usr/local/software/hbase_1.2.2

export HIVE_HOME=/usr/local/software/apache-hive-2.3.0-bin

export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令：source /etc/profile   刷新环境变量

1.5 修改Hive配置文件

1、修改hive-site.xml配置文件:

执行命令：

cd/usr/local/software/apache-hive-2.3.0-bin/conf/

mv hive-default.xml.templatehive-site.xml


2、新建 hdfs目录

使用 hadoop新建 hdfs目录，因为在 hive-site.xml中有默认如下配置：

<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
	<description>location of defaultdatabase for the warehouse</description>
</property>

3、进入 hadoop安装目录执行hadoop命令新建/user/hive/warehouse目录，并授权，用于存储文件

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -mkdir -p /user/hive/tmp

hadoop fs -mkdir -p /user/hive/log

hadoop fs -chmod -R 777 /user/hive/warehouse

hadoop fs -chmod -R 777 /user/hive/tmp

hadoop fs -chmod -R 777 /user/hive/log

 

# 用以下命令检查目录是否创建成功

hadoop fs -ls /user/hive


 

4、修改 hive-site.xml

搜索hive.exec.scratchdir，将该name对应的value修改为/user/hive/tmp

<property>
	<name>hive.exec.scratchdir</name>
	<value>/user/hive/tmp</value>
</property>

搜索hive.querylog.location,将该name对应的value修改为/user/hive/log/hadoop

<property>
	<name>hive.querylog.location</name>
	<value>/user/hive/log/hadoop</value>
	<description>Location of Hive run time structured logfile</description>
</property>

搜索javax.jdo.option.connectionURL,将该name对应的value修改为MySQL的地址

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
	<description>
		JDBC connectstring for a JDBC metastore.
		To use SSL toencrypt/authenticate the connection, provide
		database-specific SSL flag in theconnection URL.
		For example,jdbc:postgresql://myhost/db?ssl=true for postgres database.
	</description>
</property>

搜索javax.jdo.option.ConnectionDriverName，将该name对应的value修改为MySQL驱动类路径

<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
	<description>Driverclass name for a JDBC metastore</description>
</property>

搜索javax.jdo.option.ConnectionUserName，将对应的value修改为MySQL数据库登录名

<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
	<description>Username touse against metastore database</description>
</property>

搜索javax.jdo.option.ConnectionPassword，将对应的value修改为MySQL数据库的登录密码

<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>root</value>
	<description>password to useagainst metastore database</description>
</property>

创建tmp目录

执行命令：mkdir -p/usr/local/software/apache-hive-2.3.0-bin/tmp


5、修改 hive-site.xml

把${system:java.io.tmpdir}改成/usr/local/software/apache-hive-2.3.0-bin/tmp

把${system:user.name}改成${user.name}


6、修改hive-env.sh

mv hive-env.sh.template hive-env.sh

HADOOP_HOME=/usr/local/software/hadoop_2.7.1

export HIVE_CONF_DIR=/usr/local/software/apache-hive-2.3.0-bin/conf



7、下载 mysql驱动包

执行命令：

cd/usr/local/software/apache-hive-2.3.0-bin/lib/

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

 


1.6 初始化MySQL

1、MySQL数据库进行初始化，首先确保 mysql 中已经创建 hive库：

执行命令：

cd /usr/local/software/apache-hive-2.3.0-bin/bin

 ./schematool-initSchema -dbType mysql


              看到红框的内容表示初始化成功。

2、MySQL数据库进行初始化，首先确保 mysql 中已经创建 hive库：


3、查看hive库中所有的表


 

1.7 启动Hive

1、启动Hive

执行命令：/usr/local/software/apache-hive-2.3.0-bin/bin/hive


              在命令行显示：OK表示已经查看数据库成功。

 

1.8 学习Hive推荐书籍：

1. 《Hive编程指南》

2. 《Hadoop应用架构》

3. 《Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理》

4. 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》

5. 《Hadoop技术内幕：深入解析YARN架构设计与实现原理》

 

 

                --以上为《Hive教程(一) Hive入门教程》，如有不当之处请指出，我后续逐步完善更正，大家共同提高。谢谢大家对我的关注。

                                                                                                                                                                                      ——厚积薄发(yuanxw)


_否极泰来_
关注
  • 55
    点赞
  • 踩
  • 353
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
Hive简明教程-大数据技术系列
10-17
Hive 简明教程 第一部分：整理了常用的Hive 语法，而抛弃了不常用的部分。 第二部分：Hive 原理与优化。 第三部分：Hive 一系列技术细节
hive视频教程
07-17
百度云网盘链接，永久有效，密码在文档中，！！！！！！！！！！！！！！！
Hive概述与基本操作
weixin_52134189的博客
04-11 1228
Hive基本概念，hive架构，hive的数据库操作、表操作，内部表与外部表
hive3从入门到精通（一）
weixin_43977307的博客
05-25 1105
Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)1-14章数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。数据仓库为了分析数据而来，分析结果给企业决策提供支撑。 企业中，信息数据总是用作两个目的： （1）操作型记录的保存（2）分析型决策的制定为了能够正确认识这些问题，最稳妥办法就是：基于业务数据开展数据分析，基于分析的结
Hive详解（一篇文章让你彻底学会Hive）
m0_51388399的博客
03-26 3295
最详细的Hive讲解，一篇既可以学会hive的相关知识。
Hive 教程（官方Tutorial）
热门推荐
strongyoung的专栏
12-19 7万+
Hive是一个基于Apache Hadoop的数据仓库。对于数据存储与处理，Hadoop提供了主要的扩展和容错能力。 Hive设计的初衷是：对于大量的数据，使得数据汇总，查询和分析更加简单。它提供了SQL，允许用户更加简单地进行查询，汇总和数据分析。同时，Hive的SQL给予了用户多种方式来集成自己的功能，然后做定制化的查询，例如用户自定义函数（User Defined Functions，UDFs).
Hive简介
weixin_45354496的博客
06-20 2010
什么是 Hive Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据 映射 为一张数据库表，并提供HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便地利 用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量数据计算。 数据仓库之父比尔·恩门（Bill Inmon）在 1991 年出版的“Building t
hive从入门到放弃(一)——初识hive
大数据的奇妙冒险
03-11 2万+
带你入门 hive，本文介绍了什么是hive，hive的特点，hive的架构和运行机制以及数据结构，持续关注，解锁更多知识
Hive 是什么
山鬼谣弋痕夕的博客
01-31 5389
1.Hive 是什么 hive 是一个构建在Hadoop上的数据仓库工具,它可以让结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,剋将SQL语句转换为MapReduce任务进行运行,其优点是学习成本低. hive的目的是让精通SQL技能的分析师能够在Facebook存放在HDFS的大规模数据集上进行查询操作. 目前,Hive已经成为一个通用的、可伸缩的数据处理平台.   2...
Hive的三种使用方式
大数据流浪法师的学习笔记与分享
11-20 715
1.6.2 使用方式 第一种交互方式：Hive交互shell cd /export/servers/hive-1.1.0-cdh5.14.0 bin/hive 查看所有的数据库 hive (default)> show databases; 创建一个数据库 hive (default)> create database myhive; 使用该数据库并创建数据库表 hive (defau...
hive 教程 简单 容易上手
03-25
1. **《Hive简明教程.pdf》**：这个PDF文档应该包含了Hive的基础概念、安装配置、数据操作和高级特性，是初学者的良好入门资料。 2. **Linux公社与www.Linuxidc.com**：这两个可能是提供相关教程和资源的网站，你...
大数据 Hive 入门例子和代码
最新发布
05-27
大数据 Hive 入门例子和代码 第1章：Hive 简介 Hive 是一个数据仓库软件项目，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。Hive 定义了一种类似于 SQL 的查询语言，称为 HiveQL，它允许用户...
大数据开发之Hive（详细版，最后有实战训练）
key_honghao的博客
01-14 1904
第 1 章：Hive基本概念 1.1 Hive 1.1.1 Hive产生背景 HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。 1.1.2 hive简介 Hive是基于hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供类SQL（HQL）查
Hive入门，Hive是什么？
Joining667的博客
02-15 1422
Hive入门，Hive是什么？
大数据技术12：Hive简介及核心概念
何哥的博客
12-14 2610
​Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了，Hive出现后大大降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。为每个数据库上创建一个目录，数据库中的表是该目录的子目录，表中的数据会以文 件的形式存储在对应的表目录下。始化，但不会生成所有的元数据信息表，只会初始化必要的一部分，在之后的使用中用到其余表时。
最全Hive数据仓库笔记(1)，还有人不知道什么是大数据开发X的吗
2401_84166376的博客
05-16 716
MetaStoreHive 将元数据存储在关系型数据库中，比如 MySQL、Derby等。Hive 中的元数据包括表的名字、表的列和分区及其属性，表的属性（是否为外部表等）、表的数据所在目录等等ThriftServer 是将 Hive 作为一个服务器，其他机器可以作为客户端进行访问，可以使用多种编程语言【Java、Python 】通过代码操作 Hive。Driver。
大数据系列——什么是hive？hive用来干什么的？hive常见问题是啥？
我的E家
12-26 4480
什么是hive？hive用来干什么的？hive常见问题是啥？
hive 查询 教程 csdn
08-13
CSDN是一个知名的技术论坛和博客平台，提供了丰富的技术教程和资源。就Hive查询教程而言，在CSDN上可以找到很多优质的学习资源。 Hive是一个构建在Hadoop之上的数据仓库基础设施，它提供了一种类SQL语言的查询方式，可以方便地对存储在Hadoop集群中的大规模数据进行分析和处理。对于初学者而言，学习Hive查询需要理解Hive的基本概念和语法，以及掌握一些常用的查询操作。 CSDN上有很多Hive查询教程可以帮助初学者入门。其中一些教程会介绍Hive的安装和配置，帮助读者搭建Hive环境。然后会详细介绍Hive的语法和查询方式，例如如何创建表、插入数据和查询数据等等。同时还会讲解Hive的各种高级特性，如分区、分桶和函数等，以及如何优化查询性能。 此外，CSDN上还有很多相关的博客、文章和视频教程，通过实际案例和示例代码演示Hive查询的应用场景和实践方法，帮助读者更深入地理解和掌握Hive查询的技巧和技术要点。 总之，在CSDN上搜索Hive查询教程，可以找到很多帮助初学者入门的资源。这些教程内容丰富全面，既涵盖了Hive的基础知识，也包含了一些实际应用和优化技巧，能够帮助读者快速掌握Hive查询的基本操作和高级特性。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值