Hive搭建

最新推荐文章于 2024-10-11 20:30:00 发布
最新推荐文章于 2024-10-11 20:30:00 发布
阅读量91 收藏 1
点赞数 2
分类专栏： 大数据 文章标签： hive mysql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39673647/article/details/119905855
版权

环境配置

解压安装包

tar -zxvf *hadoop*.gz -C /usr/local/src/
tar -zxvf *spark*.tgz -C /usr/local/src/
tar -zxvf *hive* -C /usr/local/src/
tar -zxvf *jdk* -C /usr/local/src/

修改文件名

mv apache-hive-2.0.0-src/ hive
mv hadoop-2.7.1/ hadoop
mv jdk1.8.0_152/ java
mv spark-3.0.2-bin-hadoop2.7/ spark

配置hosts

vi /etc/hosts

192.168.52.12  master

设置免密

ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:FDfzqp1rkSFfB9K8krv86WdV3emYcHSup/nwpMHzHVs root@master
The key's randomart image is:
+---[RSA 2048]----+
|        . +o     |
|         o.++. . |
|        .  oooo +|
|       .. +oo..o+|
|        So.*o.= .|
|         o=..+ o.|
|        ..oo =++E|
|          +. +@ =|
|         ..o++.=.|
+----[SHA256]-----+


ssh-copy-id master

配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin
export HIVE_HOME=/usr/local/src/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

Hadoop搭建

配置Hadoop文件

core-site.xml

vi core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/tmps/hadoop</value>
        </property>
</configuration>

hdfs-site.xml

vi hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/src/tmps/hadoop/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/src/tmps/hadoop/data</value>
                <description>datanode 的数据存储目录</description>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>
</configuration>

mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml


<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

yarn-site.xml

vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>YARN集群为 MapReduce 程序提供的 shuffle 服务</description>
        </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/usr/local/src/java

初始化Hadoop

hdfs namenode -format

启动Hadoop

start-all.sh

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

Hive搭建

配置MySQL

下载MySQL

rpm -ivh https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm
yum install mysql-community-server

开启免密

vi /etc/my.cnf
# 设置跳过密码登录mysql
skip-grant-tables 

default-storage-engine=innodb
innodb_file_per_table
collation-server=utf8_general_ci
init-connect='SET NAMES utf8'
character-set-server=utf8

启动MySQL

systemctl start mysqld.service

查询状态

systemctl status mysqld

进入MySQL

mysql
use mysql
# 刷新环境
flush privileges;

设置密码

set password for root@'localhost' = password('root');

权限设置

# 修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
update mysql.user set host='%' where user='root';
# 重新加载数据
flush privileges;

关闭免密

注释掉：skip-grant-tables

配置Hive

配置hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>
<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>

导入jar包

将mysql-connector-java-5.1.38.jar放入$HIVE_HOME/lib

格式化

schematool -initSchema -dbType mysql

环境配置

解压安装包

tar -zxvf *hadoop*.gz -C /usr/local/src/
tar -zxvf *spark*.tgz -C /usr/local/src/
tar -zxvf *hive* -C /usr/local/src/
tar -zxvf *jdk* -C /usr/local/src/

修改文件名

mv apache-hive-2.0.0-src/ hive
mv hadoop-2.7.1/ hadoop
mv jdk1.8.0_152/ java
mv spark-3.0.2-bin-hadoop2.7/ spark

配置hosts

vi /etc/hosts

192.168.52.12  master

设置免密

ssh-keygen

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:FDfzqp1rkSFfB9K8krv86WdV3emYcHSup/nwpMHzHVs root@master
The key's randomart image is:
+---[RSA 2048]----+
|        . +o     |
|         o.++. . |
|        .  oooo +|
|       .. +oo..o+|
|        So.*o.= .|
|         o=..+ o.|
|        ..oo =++E|
|          +. +@ =|
|         ..o++.=.|
+----[SHA256]-----+


ssh-copy-id master

配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/src/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin
export HIVE_HOME=/usr/local/src/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

Hadoop搭建

配置Hadoop文件

core-site.xml

vi core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/tmps/hadoop</value>
        </property>
</configuration>

hdfs-site.xml

vi hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/src/tmps/hadoop/name</value>
                <description>为了保证元数据的安全一般配置多个不同目录</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/src/tmps/hadoop/data</value>
                <description>datanode 的数据存储目录</description>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
                <description>HDFS 的数据块的副本存储个数, 默认是3</description>
        </property>
</configuration>

mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml


<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

yarn-site.xml

vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>YARN集群为 MapReduce 程序提供的 shuffle 服务</description>
        </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/usr/local/src/java

 

初始化Hadoop

hdfs namenode -format

启动Hadoop

start-all.sh

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

Hive搭建

配置MySQL

下载MySQL

rpm -ivh https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm
yum install mysql-community-server

开启免密

vi /etc/my.cnf
# 设置跳过密码登录mysql
skip-grant-tables 

default-storage-engine=innodb
innodb_file_per_table
collation-server=utf8_general_ci
init-connect='SET NAMES utf8'
character-set-server=utf8

启动MySQL

systemctl start mysqld.service

查询状态

systemctl status mysqld

进入MySQL

mysql
use mysql
# 刷新环境
flush privileges;

设置密码

set password for root@'localhost' = password('root');

权限设置

# 修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接
update mysql.user set host='%' where user='root';
# 重新加载数据
flush privileges;

关闭免密

注释掉：skip-grant-tables

配置Hive

配置hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>
<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>

导入jar包

将mysql-connector-java-5.1.38.jar放入$HIVE_HOME/lib

格式化

schematool -initSchema -dbType mysql
Yi_同学
关注
专栏目录
hive搭建方法
weixin_64967278的博客
12-12 708
1、MySql安装 1）检查当前系统是否安装过Mysql [soft863@hadoop102 ~]$ rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载 [soft863 @hadoop102 ~]$ rpm -e --nodeps mariadb-libs //用此命令卸载mariadb 2）将MySQL安装包拷贝到/opt/software目录下 [soft863@hadoop102 softw...
Hive系列 (一)：Hive搭建
Eric Ray的博客
06-17 1603
CentOS中安装hive，hiveserver2, beeline配置
hive搭建
ct1104的博客
03-16 3197
step: 1.准备好hadoop环境 2.准备MySQL环境 （因为hive的元数据数据库是derby 不能多用户操作(在不同目录底下启动hive derby将在该目录底下创建数据库文件但不同目录数据不互通) 所以切换MySQL作为元数据数据库 ） 3.创建源数据库metastore 4.安装hive并配置hive的安装环境 （解决架包冲突mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10..
hive搭建完整教学
weixin_74865657的博客
04-19 1988
Hive是一个建立在Hadoop上的数据仓库工具，它提供了一个类似于SQL的查询语言来分析大规模数据。1. 处理大规模数据高效能够处理TB至PB级数据，并优化MapReduce任务以提高效率。2.高可扩展性和容错性利用Hadoop生态系统实现高效扩展，支持大规模并行计算。3.数据管理与存储提供表、分区等抽象，方便数据组织和管理。4.灵活性和集成性支持自定义数据类型、函数和脚本，实现复杂查询和数据转换。5.类SQL查询语言使用与SQL相似的HiveQL，使数据分析变得简单。
hive搭建全程教程
gentle John
12-18 1160
此外，其还可处理从较旧版本到新版本的架构升级。另外，如果用户想在Hive中使用该UDF需要将我们编写的Java代码进行编译，然后将编译后的UDF二进制类文件(.class文件)打包成一个JAR文件，然后在Hive会话中将这个JAR文件加入到类路径下，在通过create function语句定义好使用这个Java类的函数。由上可知，采用Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码了，只需要用户学习使用HiveQL就可以了，而这对于有SQL基础的用户而言是非常容易的。
hive搭建(详细保姆级教学)
weixin_73692048的博客
05-30 464
由于安装过程中没有设置root 用户密码，无法直接登录。链接：https://pan.baidu.com/s/1u49At39eNogCdz-DMIV3Ew。：命令中的user替换为你的user，密码为你的passwd,比如我的命令mysql -u。下载并导入mysql jdbc驱动：默认你已经将jar包下载到~/Downloads目录。默认你已经下载好安装包，并且在~/Downloads目录下。之后，就可以使用hive这个账户登录mysql。配置完成，启动Hadoop，hive。
Hive 搭建（将 MySQL 作为元数据库）
JIE的博客 --- moon_coder
10-25 9663
安装 Hive 之前请先确保你当前已经安装好了 Hadoop，并且运行正常。
hive搭建 -----内嵌模式和本地模式
lzhlizihang的博客
09-06 930
hive的搭建，常用的本地模式以及不常用的内嵌模式
Hadoop的hive搭建
m0_67391907的博客
09-02 381
7、上传驱动包mysql-connector-java-5.1.27.jar到/opt/module/apache-hive-3.1.2-bin/lib/1，将apache-hive-3.1.2-bin.tar.gz压缩包放在/opt/software路径下。（6）加载/usr/local/data/student.txt文件到student数据库表中。解压apache-hive-3.1.2-bin.tar.gz到/opt/module/路径下。8、确保 mysql数据库中有名称为hive的数据库。
hive搭建及使用入门简介（内含PPT、各种表创建sql及hive搭建使用笔记）
03-08
在“Hive搭建”部分，你将了解到如何在本地或集群环境中设置Hive。这通常包括安装Java环境、配置Hadoop、下载和安装Hive、创建Hive metastore服务，以及配置Hive-site.xml等步骤。确保所有依赖服务如HDFS、YARN和...
Hive搭建与应用手册.docx
07-24
### Hive搭建与应用手册知识点详解 #### 一、Hive基础简介 1. **基础描述** Hive是一款基于Hadoop的数据仓库工具，主要用于处理数据提取、转化与加载(ETL)工作，支持对Hadoop中大规模存储的数据进行查询与分析。...
基于大数据集群的hive搭建
10-30
【Hive 搭建详解】 Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，方便数据分析师进行大数据处理。本文将详细介绍如何在大数据集群上搭建 Hive...
hadoop全套配置详细步骤（基础环境搭建+hadoop集群搭建+hive搭建）
08-15
本文件包含hadoop集群搭建的详细步骤，包含基础环境搭建，Hadoop集群搭建，Hive搭建。小白放心食用，无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注：本文里安装的...
JavaWeb(Servlet编程)第二章
2302_80464795的博客
10-09 619
对于之前的doGet()方法和doPost()方法，我给大家分享一个我的记忆方法，在Servlet类当中我们要重写这些方法但是在重写的时候会不知道重写哪个方法，我的理解是如果没有参数的传递也就是在前后端之间没有使用form表格或者传递参数，那么就使用doGet()方法，如果涉及到参数的接收，也就是使用form表单把数据从前端页面传递到后端数据中涉及到参数的接收传递，那么我们就要在后端Servlet类中重写doPost()方法。这是我的个人见解如果有不对的地方欢迎大家指正我，勿喷喵!
大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 1142
在数字化时代背景下，图书行业正经历着前所未有的变革。随着互联网的普及和数字阅读平台的兴起，图书的销售和阅读方式日益多样化，产生了海量的图书相关数据。这些数据包括图书销量、读者评价、图书类别、作者信息等，它们对于出版社、书店以及作者本人来说具有极高的价值。有效的数据分析能够帮助相关利益方更好地理解市场趋势，优化图书选题，制定营销策略，提升读者阅读体验。根据中国新闻出版研究院发布的数据，2023年中国图书零售市场码洋规模达到1500亿元，同比增长约10%，其中线上销售码洋规模占比超过70%。
hive数据库||的用法、hive数据库字符串拼接、concat函数、concat_ws函数
weixin_49114503的博客
10-11 367
hive数据库||的用法、hive数据库字符串拼接、concat函数、concat_ws函数
【大数据】Hive快速入门
最新发布
wendao76的专栏
10-11 616
创建数据库：如果数据库已存在，则不执行创建操作。：指定数据库在HDFS上的存储位置。：为数据库添加注释。修改数据库：修改数据库的存储位置。：修改数据库的属性。删除数据库：如果数据库存在，则执行删除操作。[CASCADE]：级联删除，如果数据库中有表，则连同表一起删除。创建表[EXTERNAL]：创建外部表，指定实际数据的路径。：如果表已存在，则不执行创建操作。：基于列进行分区。：基于列进行分桶。ROW FORMAT：设置行数据分割格式。STORED AS。
Hive数仓操作（十）
热门推荐
m0_58076578的博客
10-02 1万+
一、Hive 分页查询 1. 基本用法 2. 基本语法： 3. 示例 4. 注意事项 二、Hive 常用函数 1. 查看和描述系统自带的函数 2.常用字符串函数在大数据处理中，分页查询是非常常见的需求。Hive 提供了LIMIT和OFFSET关键字来方便地进行分页操作。本文将详细介绍它们的用法。
hive 搭建
05-29
搭建Hive需要一定的技术储备和资源。以下是一些基本的步骤： 1. 安装Java和Hadoop：Hive是基于Hadoop和Java的，因此您需要先安装Java和Hadoop。确保您的Hadoop集群已正确配置并且运行正常。 2. 下载和安装Hive：您...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yi_同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值