Hive(一)如何搭建Hive？（Hive入门教程）

最新推荐文章于 2024-08-02 17:15:51 发布
最新推荐文章于 2024-08-02 17:15:51 发布
阅读量1.3k 收藏 4
点赞数 3
分类专栏： hive bigdata 文章标签： hadoop hive 大数据 mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kruskual/article/details/108578118
版权

Hive是什么？

  hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。——[维基百科]

如何理解Hive？

 Hive是一个工具，用于将HQL转化成MapReduce程序。

  • Hive处理的数据存储在HDFS
  • Hive分析数据底层的实现是MapReduce
  • 执行程序运行在Yarn上

Hive架构图

在这里插入图片描述

  • 用户接口：Client
    CLI(command-line interface) ，JDBC（Java Database Connectivity）java数据库连接
  • 驱动器：Driver

   1. SQL Parser（解析器）
      将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
   2. Physical Plan（编译器）
      将AST编译生成逻辑执行计划。
  3. Query Optimizer（优化器）
     对逻辑执行计划进行优化。
  4. Execution（执行器）
      把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

  • 元数据：Metastore
    元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
    默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore
  • Hadoop
    使用HDFS进行存储，使用MapReduce进行计算。

Hive的优缺点

优点:
  学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。——[维基百科]
缺点:
  实时性低，hive 不适合那些需要高实时性的应用，因为mapreduce中shuffle阶段要进行大量io操作，比较浪费时间；
  迭代式算法无法体现,由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。

Hive的环境安装

MySql安装

1）如果以前安装过数据库，就把他删掉，我们统一用mysql
如果跟着博主一路做到这里，我们系统上存放的数据库应该是mariadb（有一定的局限性，不支持多个窗口操作）

rpm -qa|grep mariadb

在这里插入图片描述
给他删掉！

sudo rpm -e --nodeps  mariadb-libs

  • 将MySQL安装包拷贝到/opt/software目录下
    在这里插入图片描述

  • 解压MySQL安装包
    先在software下建立一个新的目录mysql-5.7.28
    然后解压在这个文件夹内

mkdir mysql-5.7.28
tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C mysql-5.7.28/

在这里插入图片描述

  • 在安装目录下执行rpm安装
    请依次安装
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

运行成功：
在这里插入图片描述

运行最后一步安装server的时候有些机子会报这个错：

警告：mysql-community-server-5.7.28-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY
错误：依赖检测失败：
        libaio.so.1()(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
        libaio.so.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要
        libaio.so.1(LIBAIO_0.4)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要

通过yum安装缺少的依赖,然后重新安装mysql-community-server-5.7.28-1.el7.x86_64 即可

yum install -y libaio
  • 初始化数据库
sudo mysqld --initialize --user=mysql
  • 查看临时生成的root用户的密码
    在这里插入图片描述记录密码！
  • 启动MySQL服务
sudo systemctl start mysqld
  • 登录MySQL数据库
mysql -uroot -p'刚才记录的密码'

修改密码，弄个好记的

set password = password("新密码")

修改mysql库下的user表中的root用户允许任意ip连接

mysql> update mysql.user set host='%' where user='root';
mysql> flush privileges;

Hive安装部署

  • 把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下
    在这里插入图片描述

  • 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面

tar -zxf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/

在这里插入图片描述

  • 修改apache-hive-3.1.2-bin.tar.gz的名称为hive-3.1.2
mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive-3.1.2

在这里插入图片描述

  • 修改/etc/profile.d/my_env.sh，添加环境变量
sudo vim /etc/profile.d/my_env.sh

#hive
export HIVE_HOME=/opt/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

重新加载profile文件

source /etc/profile
  • 解决日志Jar包冲突
mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

Hive元数据配置到MySql

  • 拷贝驱动
    这个自己下载，自己上传；
    在这里插入图片描述
cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
  • 配置Metastore到MySql
    在$HIVE_HOME/conf目录下新建hive-site.xml文件
vim $HIVE_HOME/conf/hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop32:3306/metastore?useSSL=false</value>
</property>

    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>

	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    
   <!-- Hive元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop32:9083</value>
    </property>
    <!-- 指定hiveserver2连接的端口号 -->
    <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
    </property>
   <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop32</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
</configuration>

启动Hive

  • 初始化元数据库
    登陆MySQL
mysql -uroot -p'密码'

登陆成功：
在这里插入图片描述

新建Hive元数据库,并退出

create database metastore;
quit;

初始化Hive元数据库

schematool -initSchema -dbType mysql -verbose
  • 启动metastore和hiveserver2
    不多bb，我们直接上脚本！
vim $HIVE_HOME/bin/hiveSv.sh

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
    ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
    echo $pid
    [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
    metapid=$(check_process HiveMetastore 9083)
    cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
    cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
    [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
    server2pid=$(check_process HiveServer2 10000)
    cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
    [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
    metapid=$(check_process HiveMetastore 9083)
    [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
    server2pid=$(check_process HiveServer2 10000)
    [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
    hive_start
    ;;
"stop")
    hive_stop
    ;;
"restart")
    hive_stop
    sleep 2
    hive_start
    ;;
"status")
    check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
    check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status'
    ;;
esac

添加执行权限

chmod +x $HIVE_HOME/bin/hiveSv.sh

启动！

hiveSv.sh start

在这里插入图片描述

HiveJDBC访问

启动集群
启动metastore和hiveserver2
启动beeline客户端

beeline -u jdbc:hive2://hadoop32:10000 -n yuaf

(注意你要是和博主的主机号，用户名不同记得改参数）
进入后的界面
在这里插入图片描述

Hive访问

hive

在这里插入图片描述

打印 当前库 和 表头
在hive-site.xml中加入如下两个配置:

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
  </property>
   <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
  </property>

输入hive
在这里插入图片描述可以看到此时用的是默认数据库。

Hive运行日志信息配置

学庭
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIVE从入门到精通.pdf
01-17
### HIVE从入门到精通知识点概述 #### 一、Hive简介 - **背景与需求**：随着商业智能领域数据量的急剧增加，传统的数据仓库解决方案成本高昂，难以满足需求。Hadoop作为一种流行且开源的MapReduce实现，在Yahoo、...
Hive搭建与应用手册.docx
07-24
### Hive搭建与应用手册知识点详解 #### 一、Hive基础简介 1. **基础描述** Hive是一款基于Hadoop的数据仓库工具，主要用于处理数据提取、转化与加载(ETL)工作，支持对Hadoop中大规模存储的数据进行查询与分析。...
Hive环境搭建（保姆级教程）
tangyi2008的专栏
03-09 1万+
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 本文将详细介绍Hive的本地安装模式的具体过程。
Hive入门教程＜1＞ | hive入门介绍
懵懂bigdata象
03-20 3303
hive入门介绍 入门介绍包括了什么是hive，hive的执行流程。hive的优缺点分别是什么，hive的架构原理及组件的描述，hive与传统数据库的比较。 文章目录hive入门介绍1、什么是Hive2、Hive的优缺点3、Hive的架构原理4、Hive与数据库进行比较查询语言数据存储位置数据更新索引执行执行延迟可扩展性数据规模 1、什么是Hive hive：由Facebook开源用于解决海量结构化日志的数据统计。 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一
hive 数仓开发实战
weixin_42435657的博客
06-16 1520
对于一个公司或者组织来说，使用数据的用户可能成百上千，如何降低大家对于数据使用的沟通成本、如何通过规范大家的行为来降低使用数据的风险，这些问题是必须加以考虑的。作为新的大数据架构，数据湖采集和存储一切数据，既包含结构化的数据也包含非结构化（如语音、视频等）和半结构化的数据（如JSON 和XML 等），既包含原始数据又包含经过处理的、集成的数据。数据湖鼓励分析师和数据科学家对原始数据在分析沙箱中进行探索、研究、实验，对于有价值的数据，再和数据开发、管理团队一起将其转为更容易操作和使用的数据。
Hive基础教程 Hive入门
果子哥丶的博客
02-22 6457
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。
大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？
qq_41544550的博客
03-07 3744
说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？
hive数据仓库搭建
qq_52584391的博客
01-03 2108
基于hadoop进行hive数据仓库搭建，对windows安装mysql5.7,对centos7安装vmtool进行了大致介绍,最基于本学期云计算学习所作项目进行介绍
hive的搭建
a778203081的博客
04-28 2339
搭建hive之前先搭建MySQL，hadoop 可以参考进行部署MySQL https://blog.csdn.net/a778203081/article/details/124470867?spm=1001.2014.3001.5502 上传hive压缩包到home文件夹下，并解压改名解压用 tar -zxvf 命令。 配置hive的环境变量 export HIVE_HOME=/home/hive-2.3.4 export PATH=$PATH:$HIVE_HOME/bin 为了解决hado.
[Hive]一篇带你读懂Hive是什么
Philosophy7的博客
05-18 2万+
✅作者简介：大家好,我是Philosophy7？让我们一起共同进步吧！🏆 📃个人主页：Philosophy7的csdn博客 🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门 💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞 文章目录一、Hive介绍Hive的优缺点Hive架构Hive用户接口Hive元数据的三种存储模式Hive数据存储架构原理用户接口Hadoop驱动器：DriverHive文件格式Hive本质Hive工作原理Hive数据类型 一、Hive介.
HIve安装配置（超详细）
热门推荐
W_chuanqi的博客
04-19 6万+
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile，添加环境变量5. 初始化元数据库（默认是derby数据库）三、MySQL安装1. 安装M
Hive 的分区表是什么？
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 hive 分区表的概念 在文件系统上建立文件夹，把表的数据放在不同文件夹下面，加快查询速度。 hive 分区表的构建 创建一个分区字段的分区表 hive> create table student_partition1( id int, name string, ag
Hive数据模型是什么？
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Hive 中所有的数据都存储在 HDFS 中，它包含数据库( Database )、表( Table )、分区表( Partition )和桶表( Bucket ) 4 种数据类型，其模型如图所示。 下面针对 Hive 数据模型中的数据类型进行介绍 数据库:相当于关系数据库中的命名空间( namesp
hive环境搭建
01-20
在IT领域，特别是大数据处理和分析中，Apache Hive是一个非常重要的工具。Hive提供了一个SQL-like接口来查询和管理大规模的数据存储在Hadoop分布式文件系统（HDFS）上。本篇将详细介绍如何在Linux环境下搭建Hive运行...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache软件基金会开发的一个开源框架，用于分布式存储和处理大规模数据。它的主要组成部分包括HDFS（Hadoop Distributed File ...
基于大数据集群的hive搭建
10-30
Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，方便数据分析师进行大数据处理。本文将详细介绍如何在大数据集群上搭建 Hive，主要包括三种运行...
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1586
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
Spring实现自定义注解
最新发布
东皋长歌的专栏
08-02 192
具体原理网络上一大堆，但是没有看到有人用Spring去实现，其他人实现的基本上都是用了SpringBoot，没有参考意义。希望对你有帮助！
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 491
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值