大数据从入门到实战 - Hive的安装与配置

已于 2023-11-29 10:13:08 修改
阅读量1.1w 收藏 114
点赞数 13
分类专栏： # 大数据&云计算基础 文章标签： 数据库 大数据 hive Hadoop sql
于 2021-01-14 00:05:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43543789/article/details/112596915
版权

大数据从入门到实战 - Hive的安装与配置


叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
在这里插入图片描述

一、关于此次实践

1、实战简介

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

本实训介绍了基于Hadoop环境的hive的安装与配置。

2、全部任务

在这里插入图片描述

二、实践详解

1、第1关：Hive的安装与配置

在这里插入图片描述
评测
在这里插入图片描述

详细过程

任务描述

本关任务：在已安装Hadoop的基础上安装配置好Hive并运行。

相关知识

为了完成本关任务，你需要掌握：

1.Hive的基本安装；
2.Mysql的安装与设置；
3.Hive 的配置。

注意：本关实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。

Hive 的基本安装

从 官网 下载Hive二进制包，不过这里你无须再从网上下载，系统已经帮你下载好了放在/opt目录下。

进入/opt目录，解压apache-hive-3.1.0-bin.tar.gz到该目录下，并将解压的文件重命名为hive；

cd /opt
tar -zxvf apache-hive-3.1.0-bin.tar.gz
mv apache-hive-3.1.0-bin hive

设置环境变量，编辑vi /etc/profile，在末尾添加以下两行代码；

export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

source /etc/profile使环境生效；
查看hive是否安装成功：hive --version。

在这里插入图片描述

出现hive版本就说明安装成功，但是可以看到其中有一些警告信息，是由于包的冲突引起的。我们只需删除掉引起冲突的包即可：rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar。

在这里插入图片描述

Mysql 的安装与设置

平台已安装MySQL数据库，大家在本地没有安装可以采用以下命令进行安装：

sudo apt-get install mysql-server   #安装mysql服务
apt-get install mysql-client        #安装mysql客户端
sudo apt-get install libmysqlclient-dev  #安装相关依赖环境

注意：安装过程中会提示设置密码什么的，不要忘了设置。

安装完成之后可以使用如下命令来检查是否安装成功。

sudo netstat -tap | grep mysql

通过上述命令检查之后，如果看到有MySQL的socket处于listen 状态则表示安装成功。

Hive需要数据库来存储metastore的内容，因此我们需要配置一下MySQL数据库。

下载mysql驱动；

系统已经帮你下载好放在/opt目录下，进入该目录并进行以下操作：

tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/

接下来介绍MySQL为Hive做的设置。

使用root用户登录MySQL数据库；

mysql -uroot -p123123 -h127.0.0.1

创建数据库实例hiveDB；

create database hiveDB;

创建用户bee，密码为123123；

create user 'bee'@'%' identified by '123123';

授权用户bee拥有数据库实例hiveDB的所有权限；

grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';

刷新系统权限表。

flush privileges;

Hive 的配置
在/opt/hive/conf目录下，修改hive-site.xml和hive-env.sh两个文件。

hive-site.xml
hive-site.xml保存Hive运行时所需要的相关配置信息。

如果目录下没有该文件，我们直接创建一个：vi hive-site.xml，将以下内容复制到其中（按i进入编辑模式后再进行粘贴）。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/opt/hive/warehouse</value>
 </property>
 <property>
 <name>hive.exec.scratchdir</name>
 <value>/opt/hive/tmp</value>
 </property>
 <property>
 <name>hive.querylog.location</name>
 <value>/opt/hive/logs</value>
 </property>
 <property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
 </property>
 <property>
 <name>hive.server2.thrift.bind.host</name>
 <value>localhost</value>
 </property>
 <property>
 <name>hive.server2.enable.doAs</name>
 <value>true</value>
 </property>
 <property>
 <name>hive.session.id</name>
 <value>false</value>
 </property>
 <property>
 <name>hive.session.silent</name>
 <value>false</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>bee</value>
 <!-- 这里是之前设置的数据库 -->
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <!-- 这里是数据库密码 -->
 <value>123123</value>
 </property>
</configuration>

完成后，在命令行模式（按 Esc），输入:wq保存退出。

hive-env.sh

由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构，主要运行在 Hadoop分布式环境下，因此，需要在文件hive-env.sh中指定Hadoop相关配置文件的路径，用于Hive访问HDFS（读取fs.defaultFS属性值）和 MapReduce（读取mapreduce.jobhistory.address属性值）等Hadoop 相关组件。

如果目录下没有该文件，我们就以模板复制一个cp hive-env.sh.template hive-env.sh。vi hive-env.sh打开文件，在文件末尾添加变量指向 Hadoop 的安装路径：
HADOOP_HOME=/usr/local/hadoop #在本地环境安装，要根据自己hadoop的路径来确定

至此Hive配置完成。

第一次启动Hive前还需要执行初始化命令：schematool -dbType mysql -initSchema。

2、第2关：Hive Shell入门基础命令

在这里插入图片描述
评测
在这里插入图片描述

关于Hive Shell入门基础命令

任务描述

本关任务：按照编程要求，在Hive下创建表。

相关知识

Hive Shell运行在Hadoop集群环境上，是Hive提供的命令行接口（CLI），在Hive提示符输入HiveQL命令，Hive Shell把HQL查询转换为一系列MapReduce作业对任务进行并行处理，然后返回处理结果。

为了完成本关任务，你需要掌握：Hive Shell常用命令 。

Hive Shell 常用命令

注意：Hive命令必须以分号;结束。

  • 启动 Hive Shell：hive；
    出现hive>说明启动成功。
    在这里插入图片描述

  • 查询数据库：show databases;；
    在这里插入图片描述

  • 查询表：show tables;；
    在这里插入图片描述
    因为该数据库下没有创建表，所以输出结果为0行。

  • 创建数据库mydb：create database mydb;；
    在这里插入图片描述

  • 删除数据库mydb：drop database mydb;；

  • 创建表mytable，有id字段，数据类型为int：create table mytable(id int);
    在这里插入图片描述

  • 删除表mytable：drop table mytable;；

  • 退出 Hive Shell：exit;。
    在这里插入图片描述

Hive Shell 非交互式运行
我们也可以不启动Hive Shell，直接在Linux的命令行操作Hive。

hive -e 'show databases;'；

在这里插入图片描述

在Hive的交互式模式和非交互式模式下，执行HiveQL操作都会输出执行过程信息，如执行查询操作所用时间，通过指定-S选项可以禁止输出此类信息。

hive -S -e 'show databases;'。

在这里插入图片描述

Ending！
更多课程知识学习记录随后再来吧！

就酱，嘎啦！

在这里插入图片描述

注：
人生在勤，不索何获。

发芽ing的小啊呜
关注
  • 13
    点赞
  • 踩
  • 114
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
头歌—Hive的安装与配置_hive的安装与配置头歌答案第一关
2401_84181145的博客
04-14 1417
老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
hive（一）hive的安装与基本配置
L缶神的博客
04-11 2万+
一、前提： 安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功，同时Hadoop需要在启动状态下，同时需要安装有mysql。不需要有zookeeper和HA，由于HA中含有大量进程，启动会占用很多资源，建议不要有HA 二、安装步骤： 1、上传jar包至/usr/local/soft 将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下 2、解压并重命名 tar -zxvf apache-hive-3.1.2-bin.tar.gz # 重命名 mv ap
大数据教程-Hive的安装与配置.pdf
07-26
大数据教程-Hive的安装与配置，详细细节安装、部署步骤
Hive（一）安装与配置
weixin_50034171的博客
12-08 1059
文章目录前言一、环境搭建主要步骤1.1 主要步骤1.2 解压文件1.3 文件改名以及warehouse的创建1.4 配置hive-site.xml1.5 拷贝mysql驱动1.6 配置环境变量1.7 Hive初始化1.8 启动hive1.9 关闭进程二、安装流程文档 前言 什么是Hive？ Hive是基于Hadoop的数据仓库解决方案 Hive的优缺点： ①、统一的元数据管理 Hive的元数据可以放在mysql上，表结构信息存储在HDFS上。 ②、入门简单，类SQL ③、灵活性、扩展性 支持很
Hive(1):Hive的安装和配置
小蚯蚓的博客
11-04 316
一、Hive版本 hive-1.2.1 二、安装和配置 1.解压： tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/modules/ 2.配置环境： 修改名称： mv hive-env.sh.template hive-env.sh 修改： # Set HADOOP_HOME to point to a specific hado...
安装 Vue-CLI 详细方法及踩坑记录
sywdebug的博客
11-18 6559
配置: 如果环境中没有配置全局目录，那么安装模块时会自动安装装到 C:\User\当前用户\Appdata\Roaming\npm 目录下。原因: 没有权限，以管理员身份运行即可，也有可能是 nodejs 安装后没有配置环境变量。这个玩意我也是第一次见到，清缓存等方法还会给我报错，就记录一下吧，搞了好长时间，最后参考。右键我的电脑 - - - 属性 - - - 高级系统设置 - - - 环境变量。或者使用下面命令安装 cnpm，然后使用 cnpm 进行安装。用户变量和系统变量应该都是可以的。
[VUE] Vue-CLI的安装、使用及环境配置（超详细）
leo的博客
11-20 3万+
Vue-CLI的安装、使用及环境配置的详细步骤（超详细）
npm install -g @vue/cli报错
weixin_42612405的博客
02-09 2614
如果在安装 @vue/cli 时遇到错误，可以尝试以下步骤解决： 确保你的 npm 版本是最新的，可以使用 "npm install npm@latest -g" 升级 使用 "sudo npm install -g @vue/cli" 安装，因为有时需要超级用户权限 重启电脑后再尝试安装 清理 npm cache："npm cache clean --force" 卸载已安装的 @vue/cl...
Vue基础知识总结 10：使用vue-cli（vue脚手架）快速搭建项目
学Java，找哪吒
10-08 4万+
???? Java学习路线：搬砖工逆袭Java架构师 ???? 简介：Java领域优质创作者????、CSDN哪吒公众号作者✌ 、Java架构师奋斗者???? ???? 扫描主页左侧二维码，加入群聊，一起学习、一起进步 ???? 欢迎点赞 ???? 收藏 ⭐留言 ???? ...
npm install -g @vue/cli 安装vue脚手架报错（一般都能解决）
热门推荐
weixin_45669897的博客
01-09 8万+
长话短说: 常见错误一般就是ERR然后一串报错。。。。。 反正就是一系列的错误！！！我当时百度了很久，感觉大家都差不多，我下面罗列两种可能的方法，要是第一种不行的话，就试试第二种。（一般这种删除文件夹的方式，我一般都是一种方法不行的话，我就把删除的文件从回收站还原，再去尝试第二种。） 第一种方法： 1.用管理员身份打开cmd，输入命令npm clean cache –force（强制删除文件夹） 2. 然后再去删除npm-cache文件夹npm-cache，一般在C:\Users\PC\AppData\R
大数据系列-Hive入门与实战.pptx
09-21
大数据系列-Hive入门与实战 Hive 是什么？ ---------------- Hive 是一个构建在 Hadoop 之上的数据仓库平台，能够将 SQL 语句转译成 MapReduce 作业，并在 Hadoop 集群上执行。Hive 表是 HDFS 的一个文件目录，一...
大数据 hive 实战数据
04-07
包含video user数据
大数据系列Hive入门与实战.pptx
10-14
大数据系列Hive入门与实战 Hive 是一个基于 Hadoop 的数据仓库平台，提供了类似于 SQL 语句的查询接口，自动将查询语句编译转化为 MapReduce 作业后在 Hadoop 上执行，这使得分析人员可以更方便地使用 Hadoop 进行...
Hive入门与实战 PDF
04-22
Hive入门与实战 PDF
大数据技术与应用基础-教学大纲.pdf
11-24
* 掌握 Storm 环境的安装配置 * 了解 Storm 的基本使用 10. 企业级、大数据流处理 Apex * 认识 Apex 的基本概念 * 掌握 Apex 的环境配置过程 * 了解常见组件的原理和特点 * 会简单的应用 Apex 解决问题 11. 事件...
（头哥）Hive的安装与配置
最新发布
m0_62056822的博客
12-31 7274
(必须在第一关基础上执行）
Hive安装与配置
weixin_44847293的博客
06-21 793
第 1 节 Hive安装配置介绍 Hive官网：http://hive.apache.org 下载网址：http://archive.apache.org/dist/hive/ 文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 安装前提：3台虚拟机，安装了Hadoop 安装软件：Hive(2.3.7) + MySQL (5.7.26) 备注：Hive的元数据默认存储在自带的 derby 数据库中，生产中多采用MySQL
Hive的安装与配置——第1关：Hive的安装与配置
大家一起入坑
10-20 1万+
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功，但是可以看到其中有一些警告信息，是由于包的冲突引起的。补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。**注意：**通过本关后，请继续完成第二关，第二关是在。注意：安装过程中会提示设置密码什么的，不要忘了设置。到该目录下，并将解压的文件重命名为。
第2关：hive shell入门基础命令
03-16
好的，以下是第2关的hive shell入门基础命令： 1. 启动hive shell：在终端输入hive即可启动hive shell。 2. 查看数据库：使用show databases;命令可以查看当前所有的数据库。 3. 创建数据库：使用create database <database_name>;命令可以创建一个新的数据库。 4. 使用数据库：使用use <database_name>;命令可以切换到指定的数据库。 5. 查看表：使用show tables;命令可以查看当前数据库中所有的表。 6. 创建表：使用create table <table_name> (column1 datatype1, column2 datatype2, …);命令可以创建一个新的表。 7. 插入数据：使用insert into <table_name> values (value1, value2, …);命令可以向表中插入数据。 8. 查询数据：使用select * from <table_name>;命令可以查询表中的所有数据。 9. 删除表：使用drop table <table_name>;命令可以删除指定的表。 10. 删除数据库：使用drop database <database_name>;命令可以删除指定的数据库。 以上就是第2关的hive shell入门基础命令，希望能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

发芽ing的小啊呜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值