Hive本地模式搭建

不许抢我花

已于 2022-03-15 09:57:10 修改

阅读量3.6k

点赞数

文章标签： hive mysql hadoop

于 2022-03-15 05:00:00 首次发布

本文链接：https://blog.csdn.net/Url_list/article/details/123490572

版权

本文档详细介绍了如何在本地环境中搭建Hive，包括检查和安装MySQL，解决安装问题，设置MySQL权限，配置Hive环境及初始化MySQL，最终成功运行Hive。

摘要由CSDN通过智能技术生成

查看本地是否安装了mysql

[root@hadoop104 servers]# rpm -qa | grep mysql
mysql57-community-release-el7-10.noarch
mysql-community-libs-5.7.37-1.el7.x86_64
mysql-community-client-5.7.37-1.el7.x86_64
mysql-community-common-5.7.37-1.el7.x86_64
mysql-community-libs-compat-5.7.37-1.el7.x86_64
mysql-community-server-5.7.37-1.el7.x86_64
[root@hadoop104 servers]#

卸载本地的mysql

[root@hadoop104 servers]# rpm -qa | grep -i mysql | xargs -n1 rpm -e --nodeps
[root@hadoop104 servers]# rpm -qa | grep mysql
[root@hadoop104 servers]#

下载wget命令

yum -y install wget

创建mysql文件夹

mkdir -p /export/servers/mysql
cd /export/servers/mysql

下载官方mysql-rpm包

wget -i -c http://dev.mysql.com/get/mysql57-community

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不许抢我花

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

本地模式搭建Hive

QYHuiiQ

04-19

1171

前面在使用内嵌模式搭建Hive的时候，默认使用的是derby来存储元数据。这里我们使用本地模式搭建时，尝试使用mysql来进行数据存储。安装mysql 参考：https://blog.csdn.net/QYHuiiQ/article/details/124158197 在之前已经搭建了三台节点的hadoop集群（https://blog.csdn.net/QYHuiiQ/article/details/123055389?spm=1001.2014.3001.5501），这里我们将mysql安装在ha

Hive环境搭建

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

06-25

1152

本实验任务主要完成基于ubuntu环境的Hive环境部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Hive环境部署方法，为后续实验的开展奠定Hive基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。了解hive的作用并熟练hive的配置过程（Msql数据库）本次环境是：Ubuntu16.04+jdk1.8.0Hive工具中默认使用的是derby数据库，该数据库使用简单，操作灵活，但是存在一定的局限性，hive支持使用第三方数据库，例如mysql，通过配置可以把

参与评论您还未登录，请先登录后发表或查看评论

Hive安装配置 - 本地模式

howard2005的专栏

11-20

1168

在Hadoop分布式集群上安装配置本地模式的Hive

hive搭建 -----内嵌模式和本地模式

最新发布

lzhlizihang的博客

09-06

994

hive的搭建，常用的本地模式以及不常用的内嵌模式

Hive本地模式安装（详细）

阿极的博客

12-01

3074

本地模式安装采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。

hive本地模式设置

jackfeng86的专栏

06-08

940

group by 需要跑多个ReduceTask，所以比较慢，怎么解决？开启本地模式，也就是不让他在集群上跑，而是跑hive机器的本地hadoop上； --查看hive本地执行模式状态 set hive.exec.mode.local.auto; hive (default)> set hive.exec.mode.local.auto; hive.exec.mode.local.auto=false --修改为true set hive.exec.mode.local.auto=true;.

Hive本地模式详解

My_wife_QBL的博客

07-29

567

Hive本地模式是Hive的运行方式之一。在这种模式下，Hive将在本地文件系统中运行，而不是在Hadoop集群中。用户可以将数据存储在本地文件系统上，例如个人电脑的硬盘驱动器中，Hive将在该环境中执行查询和数据分析任务。Hive的本地模式为用户提供了一种简单易用的数据处理和分析方式，特别适合于开发、测试和小规模数据处理。通过在本地文件系统中运行，用户可以快速验证HiveQL查询，提高开发效率。尽管本地模式在处理小规模数据时表现优异，但在面对大规模数据集时，其性能瓶颈和资源限制使得集群模式更具优势。

Hive本地模式安装过程简单总结

qq_38586378的博客

03-12

523

前言安装Hive实属后知后觉，是想使用Apache Atlas展示血缘关系，后来发现需要从Hive中导入元数据才能查看datalineage，故而初步了解Hive，了解Hive主要有三种模式（内嵌、本地和远程），选了本地模式，并使用mysql替代了默认的derby数据库。在参考网上的教程进行实操后出了一些bug，百度搜索后成功安装，现进行简单总结。 Hive是基于Hadoop上的数据仓库，...

Hive部署本地模式

千锋教育

05-31

771

使用mysql替换derby进行元数据的存储，hive的相关进程都是在同一台机器上，即本地模式。mysql因为是独立的进程，所以mysql可以和hive在同一机器上，也可以在其他机器上。注意:在hive-site.xml的第3215行有一个特殊的字符,由于编码,执行程序时不识别,需要手动修改(删除就可以了)通常使用关系型数据库来进行元数据存储（mysql、oracle等执行带jdbc驱动的数据库）注意：hive的元数据在mysql库里创建的数据库hive的编码最好设置成latin1。启动MySQL的服务。

hive （本地模式）

u013777684的专栏

07-26

478

1）开启本地模式 hive>set hive.exec.mode.local.auto=true; 退出

hive的本地模式

First_____的博客

06-09

807

Hoodoop处理数据时,数据量小,可能会出现启动任务的mr时会比实际处理任务的时间长,Hive可以通过本地模式使用单机来处理所有的任务,对于小的数据量,执行时间会少很多. 设置 hive.exec.mode.local.auto 为true ,让hive在适当的时候启用本地模式,会减少小数据的执行时间参数: //开启本地模式 mr set hive.exec.mode.local.auto=true; //设置 local mr 的最大输入数据量，当输入数据量小于这个值时采用 local mr 方

Hive-企业级调优(表的优化)

weixin_43586713的博客

10-20

419

表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换小表大表Join(MapJOIN) 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。案例实操 1）需求介绍测试大表 JOIN 小表和小表 JOIN 大表的效率 2）开启 MapJoin

hive本地模式

后知后觉的it路

02-13

378

看hive资料会看到hive本地模式这个介绍，下面是查询网上资料后的一些整理：大多数的Hadoop job是需要hadoop集群来处理大数据的，不过，有时hive的输入数据量是非常小的。在这种情况下，为查询执行任务的时间消耗可能会比实际job的执行时间要多的多，因此hive0.7版本后Hive开始支持任务执行选择本地模式(local mode)，即任务提交到本地机器处...

hive中的本地模式

dsl200970的博客

04-19

457

hive中的hql语句的执行大部分最后转化为了mr，但是执行的过程非常的慢，可以使用本地模式提高效率，不过不适合大数据量的时候。需要开启本地模式： sethive.exec.mode.local.auto=true; 这时再去执行相同的hql时，会发现速度提高很多。但是，本地模式主要用来做调试，不能配置到hive-site.xml中，因为本地模式，会只在当前机器上执行mr，如果

hive-本地模式设置

weixin_44896621的博客

05-01

4437

前言当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。当执行任务计算的文件大小与文件数相对较小时，可以开启本地模式进行执行，效率相对集群模式会更高。查看当前hive的本地模式情况查看本地模式是否开启：set hive.exec.mode.local.auto; 查看启用本地模式允许的最大输入文件数：set hive.exec.mode.local.auto.input.files.max; 查看启用本地模式允许的最大文件大小：set

hive及hive的本地模式

weixin_52812666的博客

11-22

986

进入安装包文件夹 [root@moyue ~]# cd soft/ 解压 [root@moyue soft]# tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/local/ 更名 [root@moyue local]# mv apache-hive-2.3.7-bin.tar.gz hive 配置环境 [root@moyue local]# vim /etc/profile export HIVE_HOME=/usr/local/hive export PAT.

Hive集群环境搭建之本地模式（derby）

qq_39131779的博客

10-25

849

文章目录搭建集群的模式有三种1. 源码包下载及解压2. 集群的环境3. 修改hive-site.xml文件4.遇到的坑总结搭建集群的模式有三种本地模式（derby）本地模式（mysql）多用户模式 1. 源码包下载及解压 http://mirror.bit.edu.cn/apache/hive/ 2. 集群的环境 … Active NameNode Standby NameNo...

Hive本地模式安装部署

weixin_42947670的博客

07-29

1221

Hive本地模式安装部署使用mysql替换derby进行元数据的存储，hive的相关进程都是在同一台机器上，即本地模式。mysql因为是独立的进程，所以mysql可以和hive在同一机器上，也可以在其他机器上。说明：通常使用关系型数据库来进行元数据存储（mysql、oracle等执行带jdbc驱动的数据库）优点：支持多session 缺点：需要配置、还需要安装mysql等关系型数据库 2.2.1 配置安装mysql 安装包准备 #查看mysql是否安装，如果安装了，卸载mysql

Hive 2. 本地模式，分布式配置

Henvealf的博客

11-30

1129

这里假设你已经配置好了 Hadoop 分布模式本地模式的配置如果Hadoop在本地模式下，所有的文件都会存储在本地文件系统中，而不是分布式文件系统中。用户的 job 都在同一个JVM实例中执行所有的任务。如果用户经常使用本地模式，那么就必要为 Derdy metastore_db 配置一个标准的位置。如果用户可以指定一个不同的目录来存储表数据。本地模式下，默认的路径是：file:///user/h

Hive搭建教程：从内嵌到本地模式

文档涵盖了Hive的三种运行模式：内嵌模式、本地模式和远程模式，并重点介绍了本地模式的安装过程，包括下载Hive二进制包、配置MySQL JDBC驱动、设置环境变量以及修改配置文件等关键步骤。" 在大数据分析领域，Hive...