【大数据环境篇二】Hive 本地环境搭建概述（四种运行模式）

最新推荐文章于 2023-05-28 19:20:32 发布
最新推荐文章于 2023-05-28 19:20:32 发布
阅读量429 收藏
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adorechen/article/details/104934057
版权

Hive 3.1.2

Table of Contents

Hive 3.1.2

1 共用配置信息

1.1 配置Hadoop安全设置

1.2 创建数据存放目录

2. Hive 运行模式

2.1 Embedded Database + Embedded Metastore Server模式

2.2 Embedded Database + Remote Metastore Server 模式

2.3 Remote Database + Embedded Metastore Server 模式

2.4 Remote Database + Remote Metastore Server 模式

 

 

1 共用配置信息

 

1.1 配置Hadoop安全设置

$HADOOP_HOME/etc/hadoop/core-site.xml

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

这里使用的root用户。

 

1.2 创建数据存放目录

$HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
$HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
$HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

 

 

2. Hive 运行模式

 

2.1 Embedded Database + Embedded Metastore Server模式

服务器配置

不给定任何配置，默认情况就是该模式。

 

初始化 metastore 数据库

$HIVE_HOME/bin/schematool -dbType derby -initSchema

 

启动服务

使用root用户来启动hiveserver2

sudo $HIVE_HOME/bin/hiveserver2

 

测试连接

$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 -n root

参考： https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallationandConfiguration

 

 

2.2 Embedded Database + Remote Metastore Server 模式

 

服务器配置

hive-site.xml配置文件中，需要指定以下信息：

<configuration>
    <!-- database configuration -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.apache.derby.jdbc.EmbeddedDriver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
        <description>
            JDBC connect string for a JDBC metastore.
            To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
            For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>APP</value>
        <description>Username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>mine</value>
        <description>password to use against metastore database</description>
    </property>

    <!-- metastore mode definition -->
    <property>
        <name>hive.metastore.port</name>
        <value>9083</value>
        <description>Hive metastore listener port</description>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
</configuration>

 

初始化 metastore 数据库

$HIVE_HOME/bin/schematool -dbType derby -initSchema

 

启动服务

启动metastore服务

$HIVE_HOME/bin/hive –service metastore

 

使用root用户来启动hiveserver2

sudo $HIVE_HOME/bin/hive –service hiveserver2

 

 

测试连接

检查metastore服务是否启动成功

lsof -i:9083

如能查询到信息表示启动成功。

 

 

使用beeline来测试连接

$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 -n root

 

 

 

2.3 Remote Database + Embedded Metastore Server 模式

 

依赖包准备

cp mysql-connector-java-5.1.41.jar $HIVE_HOME/lib/

 

服务器配置

hive-site.xml配置文件中，需要指定以下信息：

<configuration>

    <!-- database configuration -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/metastore</value>
        <description>
            JDBC connect string for a JDBC metastore.
            To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
            For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>Username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>abc123</value>
        <description>password to use against metastore database</description>
    </property>

    <!-- metastore mode definition -->
    <property>
        <name>hive.metastore.uris</name>
        <value />
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

</configuration>

 

初始化 metastore 数据库

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

启动服务

使用root用户来启动hiveserver2

sudo $HIVE_HOME/bin/hiveserver2

 

测试连接

使用beeline来测试连接

$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 -n root

2.4 Remote Database + Remote Metastore Server 模式

 

依赖包准备

cp mysql-connector-java-5.1.41.jar $HIVE_HOME/lib/

 

服务器配置

hive-site.xml配置文件中，需要指定以下信息：

<configuration>

    <!-- database configuration -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/metastore</value>
        <description>
            JDBC connect string for a JDBC metastore.
            To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
            For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>Username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>abc123</value>
        <description>password to use against metastore database</description>
    </property>

    <!-- metastore mode definition -->
    <property>
        <name>hive.metastore.port</name>
        <value>9083</value>
        <description>Hive metastore listener port</description>
    </property>

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

</configuration>

 

初始化 metastore 数据库

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

 

启动服务

启动metastore服务

$HIVE_HOME/bin/hive –service metastore

 

使用root用户来启动hiveserver2

sudo $HIVE_HOME/bin/hive –service hiveserver2

 

测试连接

检查metastore服务是否启动成功

lsof -i:9083

如能查询到信息表示启动成功。

 

 

使用beeline来测试连接

$HIVE_HOME/bin/beeline -u jdbc:hive2://localhost:10000 -n root

 

 

遇到的问题：

MetaException(message:Hive Schema version 3.1.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt)

使用spark sql +remote metastore database连接后，在此启动hive出现上面的错误。解决方案：

<property>

    <name>hive.metastore.schema.verification</name>

    <value>false</value>

    <description>

      Enforce metastore schema version consistency.

      True: Verify that version information stored in is compatible with one from Hive jars.  Also disable automatic

            schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures

            proper metastore schema migration. (Default)

      False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.

    </description>

  </property>

生产环境，最后设定为true。

 

参考文章：

https://blog.csdn.net/adorechen/article/details/104882601

https://blog.csdn.net/adorechen/article/details/104601396

大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
Hive 本地环境搭建
freeRoad
03-12 661
Hive version: 3.1.2 System: macOSMojave 10.14.4 Run on Hadoop 2.10.0 安装准备 Java 8 https://www.jianshu.com/p/6289bd0bb69c Hadoop 2.10.0 https://blog.csdn.net/adorechen/article/details/1045...
Hive 本地环境搭建（mysql）
zzShine的专栏
12-05 904
解压 apache-hive-2.1.0-bin.tar.gz 添加环境变量（vi /etc/profile） #hive_env export HIVE_HOME=/usr/hive-2.1.0 export PATH=${HIVE_HOME}/bin:$PATH source /etc/profile (生效) 将 hive-default.xml.templa
hive中的本地模式
dsl200970的博客
04-19 460
hive中的hql语句的执行大部分最后转化为了mr，但是执行的过程非常的慢，可以使用本地模式提高效率，不过不适合大数据量的时候。 需要开启本地模式： sethive.exec.mode.local.auto=true; 这时再去执行相同的hql时，会发现速度提高很多。但是，本地模式主要用来做调试，不能配置到hive-site.xml中，因为本地模式，会只在当前机器上执行mr，如果
Hive-企业级调优(表的优化)
weixin_43586713的博客
10-20 425
表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换 小表大表Join(MapJOIN) 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。 实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。 案例实操 1）需求介绍 测试大表 JOIN 小表和小表 JOIN 大表的效率 2）开启 MapJoin
hive的本地模式
First_____的博客
06-09 818
Hoodoop处理数据时,数据量小,可能会出现启动任务的mr时会比实际处理任务的时间长,Hive可以通过本地模式使用单机来处理所有的任务,对于小的数据量,执行时间会少很多. 设置 hive.exec.mode.local.auto 为true ,让hive在适当的时候启用本地模式,会减少小数据的执行时间 参数: //开启本地模式 mr set hive.exec.mode.local.auto=true; //设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用 local mr 方
基于大数据集群的hive搭建
10-30
本文将详细介绍如何在大数据集群上搭建 Hive，主要包括三种运行模式的概述以及本地模式的详细步骤。 首先，Hive 提供了三种运行模式： 1. **内嵌模式**：元数据存储在本地的内嵌 Derby 数据库中，适合单用户开发和...
初识大数据Hadoop生态圈：搭建Hadoop伪分布式环境
最新发布
weixin_73609140的博客
05-28 751
上一篇我搭建完成了Linux系统以及配置，本篇文章进行我的项目回顾和Hadoop环境准备什么是网站日志？网站，或者说web服务器在运行过程中如果有用户访问了我们的服务器，它会把信息以文本形式自动记录下来，这个文件通常以.log结尾，一般称为服务器日志。通过对网站日志的信息的统计分析，可以帮我们了解整个网站的运行情况，为公司后续的优化升级、公司营销策略等等提供依据。通常来说这个日志记录都会非常的大，特别是一些超大型的网站，有一个用户进行访问它就会记录下来，想象一下这个数据集会有多大？
厦门大学林子雨版大数据基础入门培训课程 教师培训交流讲义-模块11-基于Hadoop的数据仓库Hive 共48页.ppt
02-02
【大数据基础入门培训课程——基于Hadoop的数据仓库Hive】模块11主要涵盖了Hive的基础知识，包括其系统架构、工作原理、高可用性（HA）原理，以及相关的数据分析工具Impala，还有Hive的编程实践。以下是这些知识点的...
大数据环境搭建及基本使用
DuBenBen的博客
06-01 987
目录 大数据环境搭建及基本使用 环境搭建：Ubuntu18.04三台虚拟机大数据 1.Hadoop hdfs使用 2.Hadoop mapreduce使用 3.Hive使用 4.Hbase使用 5.Kafka使用 大数据环境搭建及基本使用 环境搭建：Ubuntu18.04三台虚拟机大数据 记录一下自己搭建三台虚拟机的过程 环境总体概述 主节点 IP地址 软件 进程 master
Hive本地模式安装及遇到的问题和解决方案
weixin_30784945的博客
12-07 164
Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive有三种运行模式：1.内嵌模式：将元数据保存在本...
Hive本地开发/学习环境配置
雨潇的专栏
05-01 1947
这样就启动了metastore服务，可以通过jps命令查看，是否存在RunJar的进程，存在则说明启动成功，再通过hive客户端连接即可。该服务依赖于metastore服务，所以，在启动hiveserver2之前，一定确保已经启动了metastore服务，这时，可以通过。，启动后，通过jps命令查看服务进程，此时会多出一个RunJar的进程，即为hiverserver2的服务。将配置文件的用户修改上hive不允许访问的用户名，配置文件修改后，重新启动hadoop的dfs服务，需要在hive-site。
hive及hive的本地模式
weixin_52812666的博客
11-22 988
进入安装包文件夹 [root@moyue ~]# cd soft/ 解压 [root@moyue soft]# tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/local/ 更名 [root@moyue local]# mv apache-hive-2.3.7-bin.tar.gz hive 配置环境 [root@moyue local]# vim /etc/profile export HIVE_HOME=/usr/local/hive export PAT.
Hive本地模式搭建（MySQL作为元数据库）
weixin_44964753的博客
06-04 573
Hive搭建本地模式（MySQL作为元数据库） hive-env.sh（更改hadoop路径） hive-site-xml（配置使用的数据库，配置数据库驱动程序，数据库用户名，密码） 下载mysql-connector-java-.jar --- 放到hive/lib下 ·启动结果 ...
hive运行模式
weixin_45131142的博客
07-07 720
1.研究mapreduce测试 （1）本地模式:local model,所有任务，都是运行在一个进程里面的， 开发测试，IDEA点击右键运行 （2）集群模式:Yarn，每个task（map 和reduce ）都各自运行在一个JVM中，每个任务都是一个进程。 2.hive运行模式的介绍 目的：为了hive CLi中方便测试，采取设置hive运行模式 set hive.exec.mode.local....
Hive运行模式
sunwenxu的博客
07-08 409
集群模式:Yarn，每个task（map 和reduce ）都各自运行在一个JVM中，每个任务都是一个进程。 本地模式:local model,所有任务，都是运行在一个进程里面的 目的：为了hive CLi中方便测试，采取设置hive运行模式 set hive.exec.mode.local.auto=true; 如果设置为true,hive框架会自动根据需要处理的数据大小，去决定是否跑本地模式。...
Hive的运行模式
Chengliangyao的博客
09-02 1516
Hive一共有3种运行模式： 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这就可以支持多会话和多用户连接了。 3. 远程模式 此模...
hive的运行模式
yhquser的博客
07-09 504
第一部分 hive运行模式介绍 1、 本地模式（local model） 1.1、 所有任务，都是运行再一个进程里面的，不通过mapreduce 1.2、 方便hive客户端测试（跑得快） 1.3、 如果设置为true,hive框架会自动根据需要处理的数据大小，去决定是否跑本地模式。默认情况就是跟你的Block大小去决定。处理的数据<128Mb或者MapTask个数< 5个，跑本地 2...
hive开启本地模式
m0_46325925的博客
09-12 540
set hive.exec.mode.local.auto=true;(默认为false) 当一个job满足如下条件才能真正使用本地模式： 1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB) 2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4) 3.job的reduce数必须为0或者1 ...
VMware保姆级安装教程：多系统集成与大数据环境部署
VMware是一款强大的虚拟化工具，它允许用户在同一台物理机器上同时运行和管理多个操作系统，这对于数据仓库和大数据项目的搭建尤为重要。 1.1 VMware安装概述 首先，安装VMware Workstation Pro 15.5的目的是为了在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值