Hive高手之路：一、hive环境搭建

最新推荐文章于 2024-05-30 13:02:37 发布
最新推荐文章于 2024-05-30 13:02:37 发布
阅读量3.1k 收藏 9
点赞数
分类专栏： Hive高手之路 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46490924/article/details/123934341
版权

目录

一、删除原版本5.7MySQL

二、安装5.8版本MySQL

1、准备以下mysql包

2、新建mysql文件夹 

3、上传安装包

4、rpm下载

5、启动mysql服务 

6、修改密码

 三、配置Hive元数据保存到MySQL

1、删除原版本mysql驱动

2、上传新版本驱动

 3、修改$HIVE_HOME/conf/hive-site.xml

4、登录mqsql，创建元数据库

5、初始化Hive元数据库

6、启动hive测试

 7、webui查看

 四、使用元数据服务的⽅式访问 Hive

 1、远程模式部署hive的metastore服务

1）修改hive-site.xml

2）启动metastore服务后台模式

五、使用BeeLine CLI连接metastore服务

1、修改hive-site.xml文件信息

2、开启metastore、hiveserver2 &

​3、 启动beeline客户端

1）拒绝连接

 2）修改core-site.xml

3）添加脚本，修改权限

4）启动脚本

5）出现错误

4、脚本启动两个服务成功进入

 六、注意事项

1、hive启动条件

2、注意hive-site.xml文件的书写

hive的初步安装在博客中有写道，不做重复撰写了。

一、删除原版本5.7MySQL

二、安装5.8版本MySQL

1、准备以下mysql包

2、新建mysql文件夹 

[root@hadoop001 software]# mkdir mysql

3、上传安装包

4、rpm下载

[root@hadoop001 mysql]# yum install -y numactl libaio

[root@hadoop001 mysql]# rpm -ivh mysql-community-common-8.0.19-1.el7.x86_64.rpm

[root@hadoop001 mysql]# rpm -ivh mysql-community-libs-8.0.19-1.el7.x86_64.rpm

[root@hadoop001 mysql]# rpm -ivh mysql-community-client-8.0.19-1.el7.x86_64.rpm

[root@hadoop001 mysql]# rpm -ivh mysql-community-server-8.0.19-1.el7.x86_64.rpm

5、启动mysql服务 

[root@hadoop001 mysql]# systemctl start mysqld.service

[root@hadoop001 mysql]# systemctl status mysqld.service

6、修改密码

[root@hadoop001 mysql]# grep 'temporary password' /var/log/mysqld.log

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '你自己的密码';

ALTER USER 'root'@'localhost' IDENTIFIED BY '你自己的密码' PASSWORD EXPIRE NEVER;

update mysql.user set host='%' where user='root';

flush privileges;

 三、配置Hive元数据保存到MySQL

1、删除原版本mysql驱动

[root@hadoop001 lib]# rm -f mysql-connector-java-5.1.46.jar

2、上传新版本驱动

 3、修改$HIVE_HOME/conf/hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <property>

   <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://192.168.88.140:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=true&amp;serverTimezone=GMT%2B8</value>

   <description>连接协议</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionDriverName</name>

   <value>com.mysql.cj.jdbc.Driver</value>

   <description>JDBC连接驱动</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionUserName</name>

   <value>root</value>

   <description>用户名</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionPassword</name>

   <value>本人mysql密码</value>

   <description>密码</description>

 </property>

 <!-- Hive 元数据存储版本的验证 -->

  <property>

   <name>hive.metastore.schema.verification</name>

   <value>false</value>

 </property>

 <!--元数据存储授权 -->

  <property>

   <name>hive.metastore.event.db.notification.api.auth</name>

   <value>false</value>

 </property>

 <!-- Hive 默认在 HDFS 的工作目录 -->

  <property>

   <name>hive.metastore.warehouse.dir</name>

   <value>/user/hive/warehouse</value>

 </property>

</configuration>

4、登录mqsql，创建元数据库

5、初始化Hive元数据库

[root@hadoop001 lib]# schematool -initSchema -dbType mysql -verbose

6、启动hive测试

启动集群

[root@hadoop001 lib]# start-dfs.sh

[root@hadoop001 lib]# start-yarn.sh

启动hive

create table test (name string);

insert into test values('john');

select * from test;

 7、webui查看

 四、使用元数据服务的⽅式访问 Hive

 1、远程模式部署hive的metastore服务

1）修改hive-site.xml

2）启动metastore服务后台模式

五、使用BeeLine CLI连接metastore服务

1、修改hive-site.xml文件信息

2、开启metastore、hiveserver2 &

3、 启动beeline客户端

1）拒绝连接

 2）修改core-site.xml

 

3）添加脚本，修改权限

[root@hadoop001 bin]# vi hive-script.sh

[root@hadoop001 bin]# sed -i "s/\r//" hive-script.sh

[root@hadoop001 bin]# chmod +x hive-script.sh

4）启动脚本

[root@hadoop001 bin]# hive-script.sh start

5）出现错误

hiveserver2服务启动异常

添加下列信息

（Hive hiveserver2 监听端口10000异常 启动失败 - 夏天换上冬装 - 博客园 (cnblogs.com)）

4、脚本启动两个服务成功进入

重启hdfs

[root@hadoop001 bin]# hive-script.sh start

[root@hadoop001 bin]# beeline -u 'jdbc:hive2://hadoop001:10000' -n root

 六、注意事项

1、hive启动条件

Hive需要在启动了hadoop集群、yarn之后启动，不然会连接不上。

2、注意hive-site.xml文件的书写

配置文件书写有误，hive是不能输入指令的。下面贴一下完整的文件内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

 <property>

   <name>javax.jdo.option.ConnectionURL</name>

   <value>jdbc:mysql://192.168.88.140:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=true&amp;serverTimezone=GMT%2B8</value>

   <description>连接协议</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionDriverName</name>

   <value>com.mysql.cj.jdbc.Driver</value>

   <description>JDBC连接驱动</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionUserName</name>

   <value>root</value>

   <description>用户名</description>

 </property>

  <property>

   <name>javax.jdo.option.ConnectionPassword</name>

   <value>JJ12315kk.</value>

   <description>密码</description>

 </property>

 <!-- Hive 元数据存储版本的验证 -->

  <property>

   <name>hive.metastore.schema.verification</name>

   <value>false</value>

 </property>

 <!--元数据存储授权 -->

  <property>

   <name>hive.metastore.event.db.notification.api.auth</name>

   <value>false</value>

 </property>

 <!-- Hive 默认在 HDFS 的工作目录 -->

  <property>

   <name>hive.metastore.warehouse.dir</name>

   <value>/user/hive/warehouse</value>

 </property>

 <!-- 指定存储元数据要连接的地址 -->

  <property>

   <name>hive.metastore.uris</name>

   <value>thrift://hadoop001:9083</value>

 </property>

 <!-- 这是hiveserver2 -->

 <!-- 指定 hiveserver2 连接的 host -->

 <property>

   <name>hive.server2.thrift.bind.host</name>

   <value>hadoop001</value>

 </property>

 <!-- 指定 hiveserver2 连接的端口号 -->

 <property>

   <name>hive.server2.thrift.port</name>

   <value>10000</value>

 </property>

 <!--beeline错误需要添加信息-->

 <property>

    <name>hive.server2.active.passive.ha.enable</name>

    <value>true</value>

    <description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are enabled.This will also require hive.server2.support.dynamic.service.discovery to be enabled.</description>

  </property>

</configuration>

平平无奇秃头小天才
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive启动MetaStore报错解决方案
秋雨ヾ的博客
07-07 4223
安装apache-hive-3.1.1时启动hive时出现的错误 第一条错误 原因：HIVEHOME/lib目录下没有找到mysql−connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql−connector−java−5.1.27−bin.jar下载放到{HIVE_HOME}/lib目录下没有找到mysql-connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql-connector-java-5.1.27-bin.jar下载放到HIVEH​OM
Hive安装配置详解
红薯爱帅
11-25 876
Hive安装配置详解 作者: Michael日期:2014 年 2 月 10 日发表评论 (0)查看评论 本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下： 基础环境 Hive安装配置 启动及演示 [一]、基础环境 Centos 6.4 32位 Java 1.6+  Hadoop 2.2.0
hive搭建(详细保姆级教学)
weixin_73692048的博客
05-30 406
由于安装过程中没有设置root 用户密码，无法直接登录。链接：https://pan.baidu.com/s/1u49At39eNogCdz-DMIV3Ew。：命令中的user替换为你的user，密码为你的passwd,比如我的命令mysql -u。下载并导入mysql jdbc驱动：默认你已经将jar包下载到~/Downloads目录。默认你已经下载好安装包，并且在~/Downloads目录下。之后，就可以使用hive这个账户登录mysql。配置完成，启动Hadoop，hive。
hive的安装,启动,连接操作(最详细解决方案,直接按着操作即可)
热门推荐
weixin_59295776的博客
09-15 1万+
hive的安装 1. 修改 hadoop的 core-site.xml中, 添加以下内容: #修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项:<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>hadoop....
hive搭建全程教程
gentle John
12-18 1091
此外，其还可处理从较旧版本到新版本的架构升级。另外，如果用户想在Hive中使用该UDF需要将我们编写的Java代码进行编译，然后将编译后的UDF二进制类文件(.class文件)打包成一个JAR文件，然后在Hive会话中将这个JAR文件加入到类路径下，在通过create function语句定义好使用这个Java类的函数。由上可知，采用Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码了，只需要用户学习使用HiveQL就可以了，而这对于有SQL基础的用户而言是非常容易的。
Hive环境搭建(完整版)-配置
彬正的博客
10-15 6036
Hive部署： 前提： 在安装Hive之前，要求先预装： - 安装JDK 8 - 安装Hadoop-2.7.7 - 安装MySQL 5.6.x ！！！我这里主节点叫chun1，根据自己的进行修改 一、安装 1. 下载hive，并解压缩到用户主目录下： tar -xzvf apache-hive-2.3.6-bin.tar.gz 改名： mv apache-hive-2.3.6-bin hive 2. 设置环境变量： 二、配置管理 首先进入conf目录把所有带template后缀的文
hive环境搭建
01-20
本篇将详细介绍如何在Linux环境下搭建Hive运行环境。 首先，我们要进行HDFS的准备工作。在Hadoop集群中，Hive的数据仓库通常存放在HDFS上，因此我们需要创建相应的目录结构。通过执行以下命令，我们可以创建用于...
DBeaver链接hive驱动包下载： hive-jdbc-uber-2.6.5.0-292.jar
05-17
《DBeaver与Hive连接：hive-jdbc-uber-2.6.5.0-292.jar驱动详解》 在大数据处理领域，Hive作为一个基于Hadoop的数据仓库工具，广泛用于数据查询和分析。而DBeaver，作为一款跨平台的数据库管理工具，以其用户友好的...
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
P1-Hive：项目一：Hive游戏
02-15
P1-Hive游戏 这是获奖游戏Hive的简化的计算机版本。 游戏的目的是使用以独特方式移动的生物块包围对手的女王蜂。 关于游戏 游戏是两个人一起玩的。 每个玩家有7个六边形的碎片，上面有以下生物：1只蜂王，2只甲虫，2...
征服Hive小文件之困：策略、方法与实践
最新发布
06-27
Hive是一种基于Hadoop的数据仓库工具，它提供了一种SQL-like的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS）或Amazon S3中的大规模数据集。Hive允许用户映射结构化数据文件为数据库表，...
大数据开源框架环境搭建(六)——Hive完全分布式集群的安装部署
木子一个Lee的博客
02-18 2972
操作系统：Ubuntu 18.04Hadoop版本：3.1.3Hive版本：3.1.2JDK版本：1.8Mysql版本：5.7.4。
【hive】hive的安装配置，beeline使用（1）
hx1156477702的博客
10-03 2338
hive的安装配置，beeline使用
hive 安装警告 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
weixin_30326741的博客
07-20 886
解决方法： 在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。 在配置文件里面： <property> 　　<name>hive.metastore.local</name> 　 <value>false</value> </property> 删除掉...
spark-shell连接hive表
m0_51066566的博客
11-02 369
然后，把hive-site.xml文件拷贝到spark的conf目录下。首先，必须让你的spark和hive都处于可以正常运行的状态下。接着，把Mysql的驱动copy到Spark的jars/目录下。启动spark-shell。
Apache Iceberg Research
yisuoyanyv的博客
06-01 824
Apache iceberg 的感性认知，架构，业务，特性，优点
大数据之hive——元数据初始化
luo981695830的博客
03-03 8111
元数据初始化命令： schematool -dbType mysql -initSchema 控制台日志 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/sweet/software/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.cla
Redis的数据库概念
zzd的博客
10-31 437
在初始化服务器时，程序会根据服务器状态的dbnum属性来决定应该创建多少个数据库。dbnum属性的值由服务器配置的database选项决定，默认情况下，该选项的值为16，所以Redis服务器默认会创建16个数据库。 每个Redis客户端都有自己的目标数据库，每当客户端执行数据库写命令或者数据库读命令的时候，目标数据库就会成为这些命令的操作对象。 默认情况下，Redis客户端的目标数据库为0号数据库，但客户端可以通过执行SELECT命令来切换目标数据库。为了避免对数据库进行误操作，在执行Redis命令，特
CDH重新初始化Hive元数据库
qq_32068809的博客
10-21 2292
初始化元数据需要使用cdh hive中的schematool 脚本工具进行初始化，初始化脚本位置为cloudera/parcels/CDH/lib/hive/bin/ 接下来执行初始化命令 ./schematool -initSchema -dbType mysql --verbose 执行报错： [root@prod-bigdata-pc7 bin]# ./schematool -dbType mysql -initSchema -passWord root -userName root --
Hive入门指南：基础知识与环境搭建
Hive-part1-基础知识.pdf是一份详细介绍Hive基础知识的文档，涵盖了Hive的基本概念、与RDBMS和HBase的比较、架构、数据存储以及环境搭建和基本使用等内容。以下是对这些关键知识点的详细解读： 1. **Hive基本概念**...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值