大数据Hadoop集群之超级详细的Hive安装配置

已于 2022-12-09 12:02:29 修改
阅读量2.5k 收藏 37
点赞数 7
分类专栏： 大数据 文章标签： hive 大数据 hadoop 数据库 hdfs
于 2022-11-22 15:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52157830/article/details/127980979
版权

大数据Hadoop集群之Hive安装配置

目录

1.导入Hive压缩包并查看

[root@hadoop102 ~]$ ls /opt/software/

在这里插入图片描述

2.解压至module

[root@hadoop102 software]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

在这里插入图片描述

解压完成：

在这里插入图片描述

3.配置环境变量

vim /etc/profile

#增加以下内容：

# HIVE_HOME

export HIVE_HOME=/opt/module/hive-1.2.1/
export PATH=$PATH:$HIVE_HOME/bin

#保存退出 source 使其生效
source /etc/profile

在这里插入图片描述
在这里插入图片描述

4.配置HIVE文件

4.1配置hive-env.sh

cd $HIVE_HOME/conf
# 复制命令
cp hive-env.sh.template hive-env.sh

# 编辑
vim hive-env.sh

# 增加如下内容
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/opt/module/hadoop-2.7.1

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/module/apache-hive-1.2.1-bin/conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/opt/module/apache-hive-1.2.1-bin/lib

在这里插入图片描述
在这里插入图片描述

4.2查看版本

hive --version

在这里插入图片描述

4.3配置hive-site.xml

上传hive-site.xml到conf目录：

<configuration>
  <property>
     <!-- 查询数据时 显示出列的名字 -->
     <name>hive.cli.print.header</name>
     <value>true</value>
  </property>
  <property>
     <!-- 在命令行中显示当前所使用的数据库 -->
     <name>hive.cli.print.current.db</name>
     <value>true</value>
  </property>
  <property>
     <!-- 默认数据仓库存储的位置，该位置为HDFS上的路径 -->
     <name>hive.metastore.warehouse.dir</name>
     <value>/user/hive/warehouse</value>
  </property>
  <!-- 8.x -->
  <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=GMT</value>
  </property>
  <!-- 8.x -->
  <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>root</value>
  </property>
  <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <value>123456</value>
  </property>
  <!-- hiveserver2服务的端口号以及绑定的主机名 -->
  <property>
     <name>hive.server2.thrift.port</name>   
     <value>10000</value>  
  </property>
  <property>
     <name>hive.server2.thrift.bind.host</name>
     <value>master</value>
  </property>
</configuration>

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5.安装mysql

查看是否有Centos7自带的mariadb

在这里插入图片描述

先上传压缩包

在这里插入图片描述

安装mysql

在这里插入图片描述

6.初始化mysql

启动mysql

在这里插入图片描述

查看初始密码

在这里插入图片描述

修改root密码 授权远程访问 设置开机自启动

[root@node2 ~]# mysql -u root -p
Enter password:     #这里输入在日志中生成的临时密码
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.29

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 


#更新root密码  设置为hadoop
mysql> alter user user() identified by "hadoop";
Query OK, 0 rows affected (0.00 sec)


#授权
mysql> use mysql;

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

mysql> FLUSH PRIVILEGES; 

#mysql的启动和关闭 状态查看 （这几个命令必须记住）
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld

#建议设置为开机自启动服务
[root@node2 ~]# systemctl enable  mysqld                             
Created symlink from /etc/systemd/system/multi-user.target.wants/mysqld.service to /usr/lib/systemd/system/mysqld.service.

#查看是否已经设置自启动成功
[root@node2 ~]# systemctl list-unit-files | grep mysqld
mysqld.service                                enabled

如果！密码输不进去（能输进去就跳过这步）

跳过输入密码验证
首先，停止MySQL服务

service mysqld stop

既然是密码错误，那么就先跳过密码验证的步骤

#vim /etc/my.cnf

然后，搜索mysqld，找到[mysqld]（port=3306上面那个）：

/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)。

注：windows下修改的是my.ini。

在 [mysqld] 底下添加语句：

skip-grant-tables

这是用来跳过密码验证的，添加之后保存退出。

重新启动MySQL服务

在这里插入图片描述

进入MySQL

出现密码输入时，不用输入直接按回车，就可以不用密码就能登录

mysql -u root -p

在这里插入图片描述

修改密码

mysql> use mysql
mysql> update user set password=password(“新密码”) where user=”用户名”;

在这里插入图片描述
在这里插入图片描述

7.重启mysql

在这里插入图片描述

8.在mysql中创建存放元数据的数据库

在这里插入图片描述

9.修改存放hive元数据的数据库字符集为latin1

在这里插入图片描述

10.下载MySQL插件

放入hive安装目录的lib目录下

 unzip mysql-connector-java-5.1.46.zip -d /opt/module/apache-hive-1.2.1-bin/lib/

在这里插入图片描述

11.更新Hadoop中的jline文件

从hive安装目录Lib目录下拷贝最新的jline文件到hadoop安装目录下/share/hadoop/yarn/lib目录中

cp /opt/module/apache-hive-1.2.1-bin/lib/jline-2.12.jar  /opt/module/hadoop-2.7.1/share/hadoop/yarn/lib/

在这里插入图片描述

在这里插入图片描述

删除hadoop安装目录下

如果有旧版本文件可用rm删除，没有就不用删除

在这里插入图片描述

12.格式化mysql服务

cd /export/server/apache-hive-3.1.2-bin/

bin/schematool -initSchema -dbType mysql -verbos
#初始化成功会在mysql中创建表

在这里插入图片描述

13.在hdfs创建hive存储目录（如存在则不用操作）

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

在这里插入图片描述

14.hive启动时 java.net.ConnectException:拒绝连接

  • hadoop集群没有启动就启动hive
  • 防火墙没有关闭
  • selinux没有关闭
  • 集群正处于安全模式

解决：

1、关闭防火墙

#关闭防火墙
systemctl stop firewalld
#设置为开机不自启
systemctl disable firewalld

2、关闭selinux

vi /etc/selinux/config

修改SELINUX=enforcing 为 SELINUX=disabled

在这里插入图片描述

3、再次启动集群

start-dfs.sh
start-yarn.sh

4、检查集群是否正常启动

jps

5、检查集群是否正处于安全模式

命令hadoop dfsadmin –safemode get 查看安全模式状态
命令hadoop dfsadmin –safemode enter 进入安全模式状态
命令hadoop dfsadmin –safemode leave 离开安全模式状态

如果遇到org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083解决方法
杀死进程，重新启动！！！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Pr5yz4XK-1669094415766)(pictures/image-20220927160837546.png)]

15.启动hive

./hive --service metastore &
hive

在这里插入图片描述

在这里插入图片描述

总结

以上就是今天要讲的内容，本文仅仅简单介绍大数据Hadoop集群之Hive安装配置步骤，按照以上步骤和老师讲解相结合相信你也可以成功安装。

派大星子fff
关注
  • 7
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop+Hive集群搭建步骤
03-13
VM虚拟机上，安装ubantu搭建hadoop+Hive集群，步骤详细。
Hadoop集群搭建Hive的安装配置
12-23
本实验将指导你如何在已搭建的Hadoop集群上安装和配置Hive。 首先，你需要满足一定的实验环境要求，包括五台独立的PC式虚拟机，每台主机运行CentOS7-64位操作系统，且已完成Hadoop和MySQL的安装。在进行Hive的安装...
Hadoop 之 Hive安装
03-06 1077
Hadoop 之 Hive安装
hadoop的hive安装与配置教程
qsl428的博客
04-08 549
(1)将MySQL数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive安装目录的lib下；将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件，更名为 hive-site.xml。（1）MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。
HADOOP:hive组建安装教程
最新发布
2201_75750059的博客
04-09 674
opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 5973
win环境下大数据Hadoop的部署hadoop+hive环境
hadoop集群搭建+hive安装
WHY的博客
07-10 4366
hadoop集群搭建及hive安装
Hadoop之Hive
qq_35911309的博客
04-19 1642
https://hive.apache.org/ 2.2 配置元数据到mysql mysql 安装配置 https://blog.csdn.net/qq_35911309/article/details/122266247 新建Hive元数据库 mysql -uroot -p’123456’ mysql> create database metastore;#hive_db或不配置时建 mysql> quit； #初始化元数据库表 TBLS COLUMNS_V2 SDS…mysql-connector-j
Hive安装教程-Hadoop集成Hive
zcs2312852665的博客
03-09 1917
本文将介绍安装和配置Hive的步骤。在开始之前，我们需要满足一些安装条件，包括安装JDK、MySQL和Hadoop。我们将逐步指导您完成这些准备工作，并详细说明如何下载、解压和设置Hive。接下来，我们将修改Hive的配置文件，并创建Hive的元数据数据库。最后，我们将演示如何初始化Hive数据库并进入Hive命令行界面，以及如何设置允许远程访问。本文详细介绍了安装和配置Hive的步骤。您学习了如何下载、解压和设置Hive，并修改了配置文件以适应您的环境。
在hadoop上搭建hive环境
船长灬普朗克的博客
07-28 1806
hive搭建过程
hadoop集群配置之———hive安装与配置（超详细）
07-23
hadoop集群配置之———hive安装与配置（超详细）
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步一步来，安装就没有问题。
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
大数据Hadoop、MapReduce、Hive项目实践
11-09
本文将对大数据的概念、特性、应用场景，以及Hadoop、MapReduce、Hive等技术的架构、组件、应用场景进行详细介绍。 大数据概念 大数据是指大量（Volume）、多样（Variety）、快速（Velocity）、价值密度低（Value...
Hadoop之Hive安装
RedStone618的博客
07-14 1098
（4）、上传mysql-connector-java-5.1.32.jar到hive的bin目录。（1）、修改hive-env.sh 配置文件，配置hadoop环境变量。2、上传至/root/export/software/（3）、创建hive-site.xml配置。（2） 、修改hadoop目录。1、下载Hive安装包。1、在线安装mysql。
【Hive部署搭建高可用集群 ha】
耀哥的博客
12-13 1550
Hive搭建 ha高可用集群Hive搭建 ha高可用集群第一步 修改hdfs-site.xml第二步 修改core-site.xml修改mapred-site.xml第四步 修改yarn-site.xml Hive搭建 ha高可用集群 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 第一步 修改hdfs-site.xml <configuration> <!--指
【Hadoop大数据平台组件搭建系列（三）】——Hive组件配置
whoDDD的博客
02-19 314
本篇介绍Hadoop大数据平台组件中的Hive组件的搭建
Hadoop 3.0.0的集群搭建和Hive 3.1.3的安装
九术沫的博客
05-18 1402
Hi,朋友们，我们又见面了，这一次我给大家带来的是Hadoop集群搭建及Hive的安装。说明一下，网上有很多的教程，为什么我还要水？第一，大多数的安装都是很顺利的，没有疑难解答。第二，版本问题，网上的搭建在3以前的比较多。第三，我想给出一个更简洁的安装教程，把道理说明白，让读者就算在安装的过程中遇到问题也知道问题出在哪，应该朝哪个方向去要解决方案。
大数据hadoop集群虚拟机环境下载
05-13
大数据hadoop集群虚拟机环境的下载方式可以分为两种：自行搭建和使用已有的虚拟机镜像。 自行搭建需要先准备好虚拟机软件，如VirtualBox、VMware等，并下载CentOS等Linux系统的镜像文件。接着，按照hadoop集群的架构，创建多个虚拟机并安装好基本的软件和配置，最后再进行hadoop、hive、hbase等大数据软件的安装和配置。但这种方法需要自行掌握虚拟机、Linux及大数据技术，有较高的门槛，适合专业人员。 使用已有的虚拟机镜像，则需在官方网站或者其他可靠的网站上下载已经安装好的hadoop集群虚拟机镜像文件，如apache ambari等。下载后直接导入虚拟机软件中即可使用。这种方法相对比较简单，也省去了安装和配置的步骤，但是需要注意文件的来源和版本的匹配，以避免出现冲突等问题。 综上所述，对于大数据初学者和业余爱好者，建议使用已有的虚拟机镜像进行Hadoop集群环境的搭建，对于专业研究人员，自行搭建虚拟机环境会更加灵活和方便。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值