大数据Hive（介绍+安装+使用）

已于 2024-04-02 19:47:03 修改
阅读量972 收藏 15
点赞数 9
分类专栏： 大数据hadoop+hive 文章标签： 大数据 hive hadoop
于 2024-03-27 22:29:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65960840/article/details/137081118
版权

Hive概述

        对数据进行统计分析，SOL是目前最为方便的编程工具，但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。

        Hive是一款分布式SQL计算的工具，其主要功能是将SQL语句翻译成MapReduce程序运行。

为什么使用Hive

        使用HadoopMapReduce直接处理数据所面临的问题。

        人员学习成本太高需要掌握java、Python等编程语言，MapReduce实现复杂查询逻辑开发难度太大。

使用Hive处理数据的好处

        操作接口采用类SQL语法，提供快速开发的能力(简单、容易上手)

        底层执行MapReduce，可以完成分布式海量数据的SQL处理 。

Hive的组件

        架构图如下

  • 元数据存储

        通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。- Hive提供了Metastore 服务进程提供元数据管理功能 

  • Driver驱动程序

        包括语法解析器、计划编译器、优化器、执行器，负责完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。

  •  用户接口

        包括CLI、JDBC/0DBC、WebGUl其中，CL(command line interface)为shell命令行; Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于IDBC或ODBC协议。WebGUI是通过浏览器访问Hive。

MySQL安装

        因为hive的运行需要有一个数据库进行元数据存储，所以需要先安装数据库。 

       下载地址，下载.tar的，解压就可以用了。

   

mysql安装 

a、上传mysql安装包
b、解压mysql安装包
[root@hadoop1 ~]# tar -zxvf /soft/mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
[root@hadoop1 ~]# cd /usr/local
# 重命名为mysql
[root@hadoop1 local]# mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql
c、配置mysql的环境变量
[root@hadoop1 ~]# vi /etc/profile
# mysql的环境变量
export MYSQL_HOME=/usr/local/mysql
export PATH=$MYSQL_HOME/bin:$PATH
d、生效mysql的环境变量
[root@hadoop1 ~]# source /etc/profile
e、测试(报错将在下一个环节处理)
[root@hadoop1 ~]# mysql
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

创建 mysql 属组、用户、安装目录 

# 创建新数组 mysql
[root@hadoop1 ~]# groupadd mysql
# 创建用户 mysql ,指定属组为 mysql，禁止其登录
[root@hadoop1 ~]# useradd -r -g mysql mysql -s /sbin/nologin

 配置mysql

# 创建数据存储目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/data/
# 创建数据日志目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/log/
# 创建临时文件目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/tmp/
# 创建运行文件目录
[root@hadoop1 ~]# mkdir /usr/local/mysql/run/
# 创建启动错误日志
[root@hadoop1 ~]# touch /usr/local/mysql/log/mysqld_safe_error.log
# 创建默认的错误日志目的地
[root@hadoop1 ~]# touch /usr/local/mysql/log/alert.log
# 创建慢查询日志文件
[root@hadoop1 ~]# touch /usr/local/mysql/log/slow.log
# 创建通用查询日志文件的
[root@hadoop1 ~]# touch /usr/local/mysql/log/general.log

 编辑my.cnf配置文件，将以下内容写入配置文件 /etc/my.cnf

# mysqld_safe脚本启动时读取的配置
[mysqld_safe]
# 存放 MySQL 后台程序 pid 的文件位置
pid-file=/usr/local/mysql/run/mysqld.pid
# 启动错误日志
log-error=/usr/local/mysql/log/mysqld_safe_error.log

# 本地 mysql 客户端程序的配置块
[mysql]
# 本地 mysql 客户端连接的端口
port=3306
# 本地 mysql 客户端命令行提示信息
prompt=\\u@\\d \\r:\\m:\\s>
# 本地 mysql 客户端字符集
default-character-set=utf8mb4
# 开启命令补全
no-auto-rehash

# 所有mysql客户端程序读取的配置块
[client]
# 连接端口
port=3306
# mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock

# mysql服务端程序mysqld、mysqld_safe和mysqld_multi的配置文件
[mysqld]
# 进程崩溃时生成core file dump文件，便于程序调试和问题排查
core-file
# 该参数指定了安装 MySQL 的安装路径（mysql安装目录），填写全路径可以解决相对路径所造成的问题。
basedir=/usr/local/mysql
# 该参数指定MySQL的数据文件的存放目录，数据库文件即我们常说的 MySQL data 文件。
datadir=/usr/local/mysql/data
# 临时目录
tmpdir=/usr/local/mysql/tmp
# 用于错误消息的区域设置。默认值是en_US。服务器将参数转换为语言名，并将其与lc_messages_dir的值结合，以生成错误消息文件的位置。
lc_messages=zh_CN
# 错误消息所在的目录。服务器使用该值和lc_messages的值来生成错误消息文件的位置。
lc_messages_dir=/usr/local/mysql/share
# 默认的错误日志目的地。如果目标是控制台，则值为stderr。否则，目标是一个文件，log_error值是文件名。
log-error=/usr/local/mysql/log/alert.log
# 慢查询日志文件名。默认值是host_name-slow.log，但可以通过slow_query_log_file选项更改初始值。
slow_query_log_file=/usr/local/mysql/log/slow.log
# 通用查询日志文件的名称。默认值是host_name.log，但初始值可以通过general_log_file选项更改。
general_log_file=/usr/local/mysql/log/general.log
# mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock
# 服务端字符集
character-set-server=utf8mb4
# 此变量控制写入错误日志的消息中的时间戳的时区，以及写入文件的一般查询日志和慢查询日志消息中的时间戳的时区。
log_timestamps=SYSTEM
# 操作系统中可用于mysqld的文件描述符的数量。
open_files_limit=61535
# 同时允许的最大客户端连接数。
max_connections=1000
# mysql_stmt_send_long_data() C API函数发送的一个包或任何生成/中间字符串的最大大小，或任何参数的最大大小。默认是64MB。
max_allowed_packet=1G
# 如果设置为0，表名将按指定的方式存储，并且比较区分大小写。如果设置为1，表名将以小写形式存储在磁盘上，比较不区分大小写。如果设置为2，则表名按给定值存储，但以小写进行比较。此选项也适用于数据库名称和表别名。
lower_case_table_names=1
# 慢查询日志是否开启。取值为0(或OFF)表示关闭日志，取值为1(或ON)表示打开日志。默认值取决于是否给出——slow_query_log选项。日志输出的目标由log_output系统变量控制;如果该值为NONE，则即使启用了日志，也不会写入任何日志项。
slow_query_log=1
# validate_password插件的加载方法
plugin-load-add=validate_password.so
# validate-password在服务器启动时使用该选项来控制插件的激活
validate-password=FORCE_PLUS_PERMANENT

 初始化后需记住localhost@root: 后面的内容，就是本机root用户的初始密码，需要记录下来。

# 将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 ~]# chown -R mysql:mysql /usr/local/mysql
# 初始化数据库
[root@hadoop1 ~]# cd /usr/local/mysql
[root@hadoop1 mysql]# ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
# 再次将安装目录的所有权授予用户、属组 mysql:mysql
[root@hadoop1 mysql]# chown -R mysql:mysql /usr/local/mysql
# 将安装目录的 rwx 授予其所属用户mysql
[root@hadoop1 mysql]# chmod u+wrx -R /usr/local/mysql

 如果忘记看了，则查看文件/usr/local/mysql/log/alert.log中

启动mysql服务

# 启动mysql服务
service mysqld start
# 停止mysql服务
service mysqld stop
# 重启mysql服务
service mysqld restart
# 查看mysql服务是否启动
service mysqld status

登录mysql

# 登录Mysql
# mysql -h[ip地址] -u[用户名] -p
mysql -uroot -p
# 密码是前面记录的初始密码

设置密码

-- 设置密码验证安全级别
set global validate_password_policy=LOW; 
-- 设置密码验证最小长度
set global validate_password_length=6;
-- 设置密码为123456（根据自己的想法设置）
alter user root@localhost identified by '123456';

Hive的部署

        因为hive本身是一个单机的工具，所以只要在一台机器上部署就行了。

        1.配置hadoop，让hive代理hadoop，打开hadoop/etc/hadoop/core-site.xml。配置完成后通过scp命令分发给另外两台机器。

#在<configuration></configuration>中加上以下代码

	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>*</value>
	</property>

         2.下载并解压Hive

        下载连接，apache-hive-3.1.3-bin.tar.gz

        下载完成后上传到Linux服务器中，并用tar -zxvf命令解压

 tar -zxvf apache-hive-3.1.3-bin.tar.gz


#改名为hive

mv apache-hive-3.1.3-bin hive

        3.下载mysql驱动包放入hive/lib目录下

        下载地址，下载完成后解压，只上传mysql-connector-j-8.3.0.jar即可。

        4.在Hive的conf目录内，将hive-env.sh.template文件复制并重命名为hive-env.sh文件，填入以下环境变量内容

#复制
cp hive-env.sh.template hive-env.sh

#加入以下内容
export HADOOP_HOME=/data/root/env/environment/hadoop
export HIVE_CONF_DIR=/data/root/env/environment/hive/conf
export HIVE_AUX_JARS_PATH=/data/root/env/environment/hive/lib

        5.在Hive的conf目录内，将hive-default.xml.template文件复制并重命名为hive-site.xml文件,然后在<configuration></configuration>中增加连接数据库的配置

cp hive-default.xml.template hive-site.xml



<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
</property>


#javax.jdo.option.ConnectionURL：元数据连接的数据库地址
#javax.jdo.option.ConnectionDriverName：元数据所用数据库的驱动
#javax.jdo.option.ConnectionUserName：元数据登录用户
#javax.jdo.option.ConnectionPassword：元数据登录密码

        6.进入mysql，创建hive数据库 ,授予权限给用户root

CREATE DATABASE hive;

grant all on *.* to 'root'@'%';

        7.初始化Hive，在hive/bin目录下执行以下命令

./schematool -initSchema -dbType mysql

         报错

         解决办法：进入hive-site.xml文件中的第3215行，删除第97列的符号“&#8”

        初始化完成可以到mysql中查看hive数据库，发现数据库已经有了74个表

        

        进入/etc/profile文件，添加hive变量

        

        添加完成后使用source /etc/profile生效环境变量

        

        8.启动hvie

        在hive目录下创建一个logs文件夹用来保持日志,创建temp文件夹

mkdir logs
mkdir temp

       替换/hive/conf/hive-site.xml文件夹中的${system:java.io.tmpdir}，用temp的绝对路径替换。

两个都要改。

        

        启动元数据管理服务（如果metastore启动报错JAVA拒绝连接是因为没有打开Mysql服务）

#二选一即可
#后台执行方法
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

#前台执行方法
hive --service metastore

        通过jps可以查看到Runjar就是metastore进程

         

         启动hive（启动之前确保hdfs和yarn已经开启,不然会报错）

hive

         报错

         解决办法：退出安全模式

hdfs dfsadmin -safemode leave

         查询数据库，如果查询成功说明安装完成

        

Hive的操作

        1.简单的SQL语句，创建、插入、查询

#创建表
CREATE TABLE test(id INT,name STRING);

#插入数据
INSERT INTO test VALUES(1, 'SAM'),(2, 'DIVE'),(3, 'TOM');

#查询内容
SELECT * FROM test;

#带计算的查询
SELECT COUNT(*) FROM test;

       当我们在执行插入语句或者SQL语句中含有计算的时候，发现该语句执行了一分钟左右才完成，这是因为Hive其实执行的是MapReduce分布式计算。 

       

        当我们创建完表后，它会存入到我们hdfs文件系统中（默认放在/user/hive/warehouse中），可以用命令查看

hdfs dfs -ls /user/hive/warehouse

hdfs dfs -cat /user/hive/warehouse/test/*

        

HiveServer2服务

       HiveServer2是Hive内置的一人ThriftServer服务，提供Thrift端口供其它客户端链接使用hive

#二选一即可
#后台执行方法
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

#前台执行方法
hive --service hiveserver2

        使用DataGrip连接hive,并查询数据库

LiyC;
关注
  • 9
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hive 搭建（将 MySQL 作为元数据库）
JIE的博客 --- moon_coder
10-25 8514
安装 Hive 之前请先确保你当前已经安装好了 Hadoop，并且运行正常。
大数据从入门到精通(超详细版)之Hive的简介与安装部署
tyuiop321的博客
08-31 180
Hive是由FaceBook开源，基于Hadoop的一个数据仓库工具, 可以将结构化的数据文件映射成一张表, 并且提供类SQL的查询功能.
大数据技术Hadoop -- Hive的基本操作
七七四十九的博客
05-17 1289
（8）查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。（4） 创建一个未分区的外部表dividends_unpartitioned，并从dividends.csv向其中导入数据，表结构如表14-13所示。/apache-hive-3.1.2-bin.tar.gz -C /usr/local # 解压到/usr/local中。
大数据技术之Hadoop学习(七)——Hive数据仓库
weixin_63507910的博客
01-12 2644
Hive数据仓库的认识与操作
hive数据仓库--Hive介绍
m0_58625397的博客
03-21 3976
hive
[Hive的基本概念之---数据库 ]
汤圆的博客
06-15 1628
《咏柳》 唐·贺知章 碧玉妆成一树高，万条垂下绿丝绦。不知细叶谁裁出，二月春风似剪刀。
大数据 hive 实战数据
04-07
在实际操作中，我们可能会使用Hive进行ETL（Extract, Transform, Load）过程，从原始数据中抽取、转换并加载到Hive表中。然后通过HQL进行数据探索、统计分析、报表生成等任务。此外，Hive还支持与其他大数据组件如...
大数据+kerberos+impala源码
05-12
Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和...可以实现通过impala加速访问hive数据仓库
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
- 在Hadoop集群运行的基础上安装HBase，确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务，包括Master和RegionServer。 3. **Spark**：...
大数据开发+hive优化方法大全+hql优化
11-24
【大数据开发+hive优化方法大全+hql优化】 在大数据处理领域，Hive 是一个非常重要的工具，它提供了基于 SQL 的查询语言（HQL）来处理大规模数据集。针对Hive的性能优化，可以从多个方面进行，包括SQL语句优化、...
大数据 Hive 入门例子和代码
最新发布
05-27
Hive 通常与 Hadoop 集群一起使用。你可以下载并安装 Hadoop。 安装 Hive 在 Hadoop 集群上安装 Hive，通常可以从 Apache 官方网站下载并配置。 配置环境变量 确保 HADOOP_HOME 和 HIVE_HOME 环境变量已设置，并且...
一篇文章教会你如何搭建hive数据库
az111gh的博客
04-07 1446
（此图为Apache Hive官网的截图，具体网址为Hive是基于Hadoop的数据仓库工具，可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表，并提供SQL查询功能，将SQL语句转变成MapReduce任务来执行。Hive通过简单的SQL语句实现快速调用MapReduce机制进行数据统计分析，因此不必专门开发MapReduce应用程序即可实现大数据分析。Hive对存储在HDFS。
Hive数据仓库简介
W_chuanqi的博客
03-21 3751
Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分析方面的工作，还节省了开发人员的学习成本。
大数据---20.Hive基础介绍
u014579001的博客
05-24 3469
hive，hive的基本原理；hive的运行过程
Hive详细介绍及简单应用
热门推荐
YHJ
06-02 1万+
1.Hive基本概念 1.1Hive简介 1.1.1什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2为什么使用Hive 1.）直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 扩展功能很方便。 1.1....
大数据技术Hive详解
悦分享
02-07 771
Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。说明：Hive处理的数据存储在HDFS；Hive分析数据底层的实现是MapReduce；执行程序运行在Yarn上；1. 分布式文件系统HDFS存储架构与原理HDFS结构与架构：HDFS分布式文件系统架构：Namenode上保存着 HDFS 的名字空间。
大数据系列——什么是hive？hive用来干什么的？hive常见问题是啥？
我的E家
12-26 4466
什么是hive？hive用来干什么的？hive常见问题是啥？
从零开始了解大数据(六)：数据仓库Hive篇
Rye的博客
12-15 1659
Apache Hive是一个强大的数据仓库工具，它利用Hadoop的能力，提供了一种高效且简单的类SQL查询语言，使得对大规模数据的分析和查询变得简单而高效。同时，Hive的架构使其具有很好的扩展性，可以轻松地添加新的功能和优化现有的功能。随着大数据技术的不断发展，Apache Hive在未来的发展中也将发挥重要的作用。
hive数据仓库
LMY~~的博客
11-20 1198
hive数据仓库 1.启动hadoop start-all.sh 2.开启mysql服务 service mysqld start 3.启动hive hive 4.hive的操作 （1）创建数据库 create database 库名 comment '备注'; （2）查找hive数据库 show databases; //列出所有数据库 show databases link 'f.*'; //查询f开头的数据库 （3）设置属性信息 使用WITH DBPROPERTIES参数创建一个
大数据Hive安装与使用实验 实验结果及结论
06-08
好的，下面是大数据Hive安装与使用实验的实验结果及结论: 实验结果： - 成功安装了Hive，并且配置了Hive与Hadoop之间的连接。 - 成功创建了Hive的表格，并且可以通过Hive进行数据查询和操作。 - 在实验过程中，我们使用了Hive的内置函数和UDF（User-Defined Function），成功完成了一些数据处理任务。 实验结论： - Hive是一个基于Hadoop的数据仓库工具，可以方便地处理和管理大数据。 - Hive使用类SQL语言进行数据查询和操作，可以让开发者更加方便地使用Hadoop进行数据处理。 - Hive具有丰富的内置函数和UDF，可以满足不同的数据处理需求。 - Hive的性能比较依赖于Hadoop的性能，因此在使用Hive的同时需要注意优化Hadoop的配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值