Hive-2.1.1使用MySQL作为metastore配置过程

最新推荐文章于 2021-02-03 06:06:22 发布
最新推荐文章于 2021-02-03 06:06:22 发布
阅读量1.2k 收藏 1
点赞数 2
分类专栏： Hive 文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq513536189/article/details/77931232
版权

1. 上传apache-hive-2.1.1-bin.tar.gz并解压

# mkdir /root/Hive

# cd /root/Hive

# rz

通过弹出的“打开”对话框从宿主机上选择已经下载好的apache-hive-2.1.1-bin.tar.gz

# tar -xzvf apache-hive-2.1.1-bin.tar.gz

2. 配置profile

# vim /etc/profile

在文件最后添加如下配置

export HIVE_HOME=/root/Hive/hive-2.1.1

export PATH=$PATH:$ HIVE_HOME/bin:$HIVE_HOME/conf

# source /etc/profile

3. 拷贝配置文件

# cd /root/Hive/hive-2.1.1/conf

# cp hive-env.sh.template hive-env.sh

# cp hive-default.xml.template hive-site.xml

# cp hive-log4j2.properties.templatehive-log4j2.properties

# cp hive-exec-log4j2.properties.templatehive-exec-log4j2.properties

4. 为Hive创建HDFS目录

在Hive中创建表之前需要使用以下 HDFS 命令创建 /user/hive/tmp 和 /user/hive/warehouse(hive-site.xml 配置文件中属性项hive.exec.scratchdir和hive.metastore.warehouse.dir的默认值分别为/tmp和/user/hive/warehouse，对其进行修改)目录并给它们赋写权限。

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -mkdir -p /user/hive/tmp

hdfs dfs -mkdir -p /user/hive/log

hdfs dfs -chmod g+w /user/hive/warehouse

hdfs dfs -chmod g+w /user/hive/tmp

hdfs dfs -chmod g+w /user/hive/log

5. 配置hive-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_112    ##Java路径

export HADOOP_HOME=/root/Hadoop/hadoop-2.7.3   ##Hadoop安装路径

export HIVE_HOME=/root/Hive/hive-2.1.1    ##Hive安装路径

export HIVE_CONF_DIR=/root/Hive/hive-2.1.1/conf    ##Hive配置文件路径

6. 配置hive-site.xml

# mkdir /root/Hive/hive-2.1.1/tmp

# vim /root/Hive/hive-2.1.1/conf/hive-site.xml

替换hive-site.xml文件中的 ${system:java.io.tmpdir} 和 ${system:user.name}

全局替换命令先按Esc键，再同时按 shift+: 把以下替换命令粘贴按回车即可全局替换：

%s#${system:java.io.tmpdir}#/root/Hive/hive-2.1.1/tmp#g

%s#${system:user.name}#root#g

对hive-site.xml的如下配置进行修改

<property>

       <name>hive.exec.scratchdir</name>

       <value>/user/hive/tmp</value>

       <!--用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果-->

</property>

<property>

       <name>hive.metastore.warehouse.dir</name>

       <value>/user/hive/warehouse</value>

</property>

7. 执行初始化命令

由于Hive默认内嵌的是derby数据库，先使用默认的数据库运行

执行schematool-dbType derby -initSchema进行初始化

执行结果如下图：

如果出现如下错误

解决方法为 进入hive目录后rm -rfmetastore_db/

8. 执行命令hive

# hive

执行结果如下图：

如果出现如下错误

则解决方法为，执行第7步。

如果出现如下多重绑定警告

则解决办法为：

[root@master lib]# mv log4j-slf4j-impl-2.4.1.jarlog4j-slf4j-impl-2.4.1.jar-bac

9. Hive使用MySQL作为metastore

Hive的元数据存储有三种方式：内嵌式、本地式、远程式。三者的区别参考：http://f.dataguru.cn/thread-32711-1-1.html

按照之前的步骤配置使用的是内嵌式，接下来配置远程式。参考：http://www.cnblogs.com/linbingdong/p/5829369.html

9.1 创建hive元数据库和hive用户

以root用户进入mysql命令行：mysql -uroot -p（提示输入密码）

创建hive的元数据库：create database metahive【元数据库名metahive】

创建hive用户：create user userhive@'localhost'identified by '××××'【创建的用户名为：userhive，密码为：××××】

赋予权限：grant allprivileges on metahive.* to userhive;

flush privileges;

登出root用户：quit;

使用hive用户登录mysql：mysql -uuserhive -p（提示输入密码）

登录后，showdatabases；可以看到有metahive这一数据库，OK!

9.2 为Hive创建HDFS目录

在Hive中创建表之前需要使用以下 HDFS 命令创建 /usr/hive/tmp 和 /usr/hive/warehouse (hive-site.xml配置文件中属性项hive.exec.scratchdir和hive.metastore.warehouse.dir的默认值分别为/tmp和/user/hive/warehouse，对其进行修改)目录并给它们赋写权限。

hdfs dfs -mkdir -p /usr/hive/warehouse

hdfs dfs -mkdir -p /usr/hive/tmp

hdfs dfs -mkdir -p /usr/hive/log

hdfs dfs -chmod g+w /usr/hive/warehouse

hdfs dfs -chmod g+w /usr/hive/tmp

hdfs dfs -chmod g+w /usr/hive/log

9.3 编辑hive-site.xml

# vim conf/hive-site.xml

9.3.1 metastore服务器配置

<property>

       <name>javax.jdo.option.ConnectionURL</name>

       <value>jdbc:mysql://master:3306/metahive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>

       <!--&amp;是html中对&的转义字符-->

</property>

<property>

   <name>javax.jdo.option.ConnectionDriverName</name>

   <value>com.mysql.jdbc.Driver</value>

</property>

<property>

   <name>javax.jdo.option.ConnectionUserName</name>

   <value>userhive</value>

</property>

<property>

   <name>javax.jdo.option.ConnectionPassword</name>

   <value>mysql中用户userhive 密码</value>

</property>

<property>

       <name>hive.exec.scratchdir</name>

       <value>/usr/hive/tmp</value>

</property>

<property>

       <name>hive.metastore.warehouse.dir</name>

       <value>/usr/hive/warehouse</value>

</property>

<property>

    <name>hive.server2.enable.doAs</name>

    <value>false</value>

    <!--为true时，beeline和python通过hiveserver2访问hive执行SQL会报错-->

    <!--N个月后，我把它改回了true，beeline和python依旧能访问，谁能告诉我why？-->

</property>

9.4 下载并拷贝MySQL的jar库到lib目录下

a) 下载地址https://dev.mysql.com/downloads/connector/j/

我是将mysql-connector-java-5.1.41.tar.gz下载到了windows上，所以需要执行rz命令，将其上传到master上

#rz

b) 解压

#tar –zxvf mysql-connector-java-5.1.41.tar.gz

c) 将解压后目录中的mysql-connector-java-5.1.41-bin.jar拷贝到hive的lib目录下

#cp mysql-connector-java-5.1.41/mysql-connector-java-5.1.41-bin.jarhive/lib

d) 删除mysql-connector-java-5.1.41.tar.gz和mysql-connector-java-5.1.41

#rm mysql-connector-java-5.1.41.tar.gz

#rm mysql-connector-java-5.1.41

e) 最后需要执行命令：# schematool -dbType mysql -initSchema

9.5 终端中执行命令hive

Hive元数据库使用远程模式，需要先启动metastore服务，在如上的配置中，master既为metastore服务器，又为hive客户端。

metastore服务器上输入：hive --servicemetastore &或nohup hive --service metastore > metastore.log 2>&1 &

后面的metastore启动命令与前面的相比优点是，当你关闭执行命令的终端后，metastore不关闭。

hive客户端上输入： hive

正确结果如下


9.6 Hive与HBase整合

如下命令实在hie中创建名为hbase_database的数据库：

hive> create database IF NOT EXISTShbase_database;

使用创建的数据库：

hive> use hbase_database;

如下命令是在hive中创建名称为 fileinfo的表，表中有四个字段：key、missionid、equipmentid、path，这四个字段的值分别来自于HBase中bigdata表的":key,labels:missionid,labels:equipmentid,labels:path"列。

CREATE EXTERNAL TABLE fileinfo(key string comment'行键', missionidstring comment'任务ID', equipmentid string comment '设备ID', path string comment '路径') comment '文件信息表'

STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" =":key,labels:fileinfo_missionid,labels:fileinfo_equipmentid,labels:path")

TBLPROPERTIES("hbase.table.name" ="bigdata", "hbase.mapred.output.outputtable" ="bigdata");

参考1：http://www.cnblogs.com/MOBIN/p/5704001.html

参考2：http://blog.csdn.net/hguisu/article/details/7256833

参考3：http://blog.csdn.net/lifuxiangcaohui/article/details/40588929

10. 将Master上安装的hive拷贝到所有的slave上，进行如下配置，那么所有的节点都可以执行hive命令了

$ vi ~/.bashrc 或 $ vi ~/etc/profile

添加如下内容：

export HIVE_HOME=/home/cloud/cloud/apache-hive-2.1.1-bin

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

$ vi $HIVE_HOME/conf/hive-site.xml

进行如下修改：

<property>

       <name>hive.metastore.uris</name>

       <value>thrift://master:9083</value>

</property>

如上配置虽然MySQL和Hive是安装在master上的，但是使用的远程模式。远程元存储的metastore服务和hive运行在不同的进程里。

我把slave3上的hive/conf/hive-site.xml中元数据库信息：javax.jdo.option.ConnectionURL、javax.jdo.option.ConnectionDriverName、javax.jdo.option.ConnectionPassword、javax.jdo.option.ConnectionUserName删除，那么slave3就是一个纯粹的hive客户端。因为hive.metastore.uris配置项的ip只有master，并且master上配置了完整的元数据库信息，所以master是metastore服务器。

这里MySQL提供元数据存储服务，master提供metastore服务，客户端执行hive命令。

11. 远程客户端使用Beeline通过hiveserver2访问hive

11.1 设置代理用户

修改hadoop 配置文件$HADOOP_HOME/etc/hadoop/core-site.xml,加入如下配置项

       <property>

           <name>hadoop.proxyuser.$SERVER_USER.hosts</name>

           <value>*</value>

       </property>

       <property>

           <name>hadoop.proxyuser.$SERVER_USER.groups</name>

           <value>*</value>

       </property>

其中$SERVER_USER需要替换成拥有Hadoop权限的用户名，这里是root

否则远程客户端beeline会报如下错误：

图中最后一行报错，rootis not allowed to impersonate root (state=08S01,code=0)，这句话中第一个root是Hadoop所有者用户，第二个root是在同种倒数第6行输入的hive metastore服务器上的mysql中的可以访问hive元数据的用户。

再看一张图，这是在另一个集群上没有设置代理时启动beeline连接hive的报错：

图中最后一行报错，cloudis not allowed to impersonate userhive (state=08S01,code=0)，这句话中cloud是Hadoop所有者用户，userhive是hive metastore服务器上的mysql中的可以访问hive元数据的用户。对于这个集群修改core-site.xml 时$SERVER_USER就应该替换为cloud。

该错误参考：http://blog.csdn.net/fz1989/article/details/51489498

11.2 修改hive-site.xml

 修改hive配置文件$HIVE_HOME/conf/hive-site.xml，添加如下配置

<property>

   <name>hive.server2.enable.doAs</name>

   <value>false</value>

</property>

doAs为true表示以登录hiveserver2的用户身份执行hadoop job。

为false表示以启动hiveserver2进程的用户身份去执行hadoop job。

否则远程客户端通过beeline访问hive执行SQL回报如下错误

参考自：http://blog.zhaishidan.cn/2015/05/15/jie-jue-beelinelian-jie-hiveserver2zhi-xing-sqlbao-cuo-de-wen-ti/

N个月后，我把它改回了true，beeline和python依旧能访问，谁能告诉我why？

12. 遇到的困难及解决办法

12.1 执行hive，报错如下图：

原因：没有执行schematool-dbType mysql –initSchema

12.2 执行schematool -dbType mysql-initSchema报错如下：

解决办法参考http://www.cnblogs.com/xing901022/p/5775954.html

cd $HIVE_HOME/scripts/metastore/upgrade/derby

vim hive-schema-2.1.0.derby.sql

12.3 解决hive创建表时，字段的中文注释为乱码的bug

# vim conf/hive-site.xml

<property>

       <name>javax.jdo.option.ConnectionURL</name>

       <value>jdbc:mysql://master:3306/metahive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useUnicode=true&amp;useSSL=false</value>

       <description>JDBCconnect string for a JDBC metastore</description>

</property>

省略N步骤，详细见参考：

参考：https://my.oschina.net/jackieyeah/blog/742088

参考：http://lvxin1986.blog.51cto.com/4953500/1316747

12.4 执行hive --service metastore &出现如下警告：

解决办法：

# vim $HIVE_HOME/conf/hive-site.xml

查找javax.jdo.option.ConnectionURL，修改value为如下：

<value>jdbc:mysql://master:3306/metahive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useUnicode=true&amp;useSSL=false</value>

其中红色部分为解决该警告的内容

12.5 执行hive，出现如下图The root scratch dir: /usr/hive/tmp on HDFS should be writable的错误

解决办法：hadoop fs-chmod 777 /usr/hive/tmp目录

12.6 客户端使用python通过impyla访问hive无法执行SQL，如下图

vim $HIVE_HOME/conf/hive-site.xml

修改如下：

4062  <property>

4063    <name>hive.server2.enable.doAs</name>

4064    <value>false</value>

4065    <description>

4066      Setting this property to true will have HiveServer2 execute

4067      Hive operations as the user making the calls to it.

4068    </description>

4069  </property>
qq513536189
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive配置Metastore到MySql
lz_N_one的博客
07-25 683
配置Meta store到Mysql
java JDBC连接hive2通过DatabaseMetaData获取指定数据库下所有表
m1913843179的博客
06-26 2611
java JDBC连接hive2通过DatabaseMetaData获取指定数据库下所有表 情况一：获取mysql中指定数据库中所有表，代码如下 ResultSet rs = metaData.getTables (dbname, null, null, new String[]{"TABLE"}); while (rs.next()) { String tableName = rs.getSt
hive使用mysql_HIVE使用MYSQL作为METADATA
weixin_42351606的博客
02-03 163
hive的hive-site.xml中加入javax.jdo.option.ConnectionURLjdbc:mysql://10.20.109.213:3306/hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.Driverjavax.jdo.option.Connecti...
hive数据库存入mysql_Hive使用MySQL保存Metastore
weixin_42298415的博客
01-19 274
Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1)ingle User Mode： 此模式连接到一个 In-memory 的数据库 DerbHive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库：1)ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derby，一般用于 Unit Test。2)Multi User Mode：...
apache-hive-2.1.1-bin
09-11
元数据通常存储在 MySQL 或其他支持的数据库中，这个信息被 Hive 使用来解析和执行查询。 3. **Hive Driver**：驱动程序是 Hive 查询处理的核心部分，它接收用户的查询，编译成执行计划，并将任务分发到 Hadoop ...
apache-hive-2.1.0-bin.tar.gz
05-25
10. **Hive on Spark**：虽然在2.1.0版本中，Hive默认还是使用MapReduce作为计算引擎，但该版本已经支持使用Apache Spark进行更高效的计算，尤其是在交互式查询和实时分析场景下。 下载并解压`apache-hive-2.1.0-...
mysql-connector-5.1.39，配合sqoop1.4.7和hive2.1.1使用
04-24
3. **Hive与MySQL交互**：虽然Hive不直接支持MySQL作为元数据存储，但通过配置，可以在Hive Metastore中使用MySQL数据库存储表元数据，如表名、字段名、分区信息等。这有助于在多用户环境中提高性能和并发性。 4. *...
基于虚拟机hadoop集群hive2.1.1配置文件
10-24
总结来说，配置基于虚拟机的Hadoop集群上的Hive 2.1.1，需要对Hadoop、Hive以及MySQL有深入的理解，并熟练掌握相关配置文件的设置。这个过程虽然复杂，但是一旦完成，就能为大数据处理提供一个高效、稳定的平台。
第4集-Hadoop环境搭建 - linux（centos7） - 安装配置mysql5.5.44.pdf
09-17
sudo rm -rf /home/hadoop/hive-2.1.1/scripts/metastore/upgrade/mysql 4. 下载Mysql5.5.44 下载Mysql5.5.44，不要下载高版本的Mysql。下载地址：（不需要输入Oracle账号密码）。 5. 解压缩tar文件 使用tar命令...
Hive metastore三种存储方式
duguyiren3476的专栏
08-15 435
测试环境下Hive总出问题，metastore的配置有问题。抽了点时间，把Hive的meta数据几种存储方式都配置了下。Hive的meta 数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore 。 一、使用derby数据库存储元数据。 这种方式是最简单的存储方式，只需要在hi...
DatabaseMetaData获取数据库信息 .
vincent
05-31 7409
import java.sql.Connection; import java.sql.DriverManager; import java.sql.Statement; import java.sql.DatabaseMetaData; public class DataConn {   public DataConn() {   }   public static void ma
Hive metastore三种配置方式
热门推荐
reesun的专栏
01-30 6万+
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。   一、本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 javax.jdo.option.ConnectionURL jdbc:de
Hive2.1.1执行initSchema报错
weixin_33831196的博客
12-30 703
2019独角兽企业重金招聘Python工程师标准>>> ...
hive初始化mysql数据库失败的原因
qq_43506520的博客
10-24 1万+
在配置好hive-site.xml后执行初始化数据：schematool -initSchema -dbType mysql 然而搞程序的都知道不会那么顺利的：报错信息如下 which: no hbase in (/home/jdk/jdk1.8.0_192/bin:/home/hadoop-2.7.7/bin:/home/hadoop-2.7.7/sbin:/home/jdk/jdk1.8.0_...
配置Hive使用Mysql作为数据源
再难也要坚持的博客
03-18 3830
Hive 默认使用 derby 作为映射表（SQL 操作映射为MapReduce Job，将SQL中创建的表映射为 hdfs 的文件/文件夹，字段映射为其中的行），但 derby 的一大缺陷在于它不允许多个客户端同时执行sql操作（可能新版本的hive会有所升级） 使用 mysql 作为 hive 的metastore 使用 hive 连接 mysql 其实意味着使用 JDBC 来连接，不...
hive元数据库表分析及操作
weixin_30535843的博客
06-12 553
　　在安装Hive时，需要在hive-site.xml文件中配置元数据相关信息。与传统关系型数据库不同的是，hive表中的数据都是保存的HDFS上，也就是说hive中的数据库、表、分区等都可以在HDFS找到对应的文件。这里说到的元数据可以理解成hive中用于保存数据库、表、分区或者表字段等基本属性，以及这些属性与HDFS文件对应关系的一个映射。 　　这些映射关系比较常见的一个...
centos8+mysql8+hive2.3(远程连接模式)
weixin_43999048的博客
12-19 928
这是对hive远程连接模式的全程安装操作！！！ 因为这个模式需要mysql依赖，所有首先在centos8上安装mysql（使用yun安装） 一、mysql8安装 1.首先查看本地是否安装了mysql：rpm -qa | grep -i mysql，如果没有安装请直接跳过前四条 2.删除这些依赖和安装包yum remove mysql mysql-server mysql-libs或者用rpm -e --nodeps 名字一个一个删除（下面有例子） 3.查看依赖，注册，日志等配置文件find / -nam
apache-hive-2.1.1-bin.tar.gz
最新发布
07-24
可以使用以下命令进行解压缩：tar -zxvf apache-hive-2.1.1-bin.tar.gz 3. 解压缩完成后，我们需要配置Hive的环境变量。我们可以打开.bashrc或.bash_profile文件，并添加以下配置行： export HIVE_HOME=/path/to/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值